PANews丨APP全面升级|2026年08月20日 06:22
智谱创始人唐杰:万亿参数模型是行业走的弯路,后训练才是下一步关键
清华教授、智谱AI创始人唐杰8月19日发文称,参数规模不再是衡量模型能力的唯一指标。
他指出,Kaplan等人2020年的研究让业界按2.7:1比例堆参数快于数据,催生GPT-3、Gopher等模型,但2022年Chinchilla论文重做实验发现最优比例应是每参数20个token,"万亿参数路线回过头看是整个领域一起走过又折返的弯路"。
唐杰用GLM-5.3作为对照实验:与GLM-5.2相同的基座、架构和753B参数,仅通过一个月的大规模长周期环境训练和强化学习,就实现显著能力提升。
他总结:"Scaling不止一个旋钮。这次我们转动后训练这个旋钮,因为它还有最多余量。下次也许是中训练、预训练。"(PANews丨APP全面升级)
分享至:
熱門快訊
APP下載
X
Telegram
複製鏈接