回到开头那个场景:一个 70 亿参数的模型文件,从一堆随机数字,变成能读懂合同、能解释报错的助手。

现在我们知道中间发生了什么:预训练让它知道世界长什么样,后训练让它知道该怎么对你说话。前者给上限,后者给可用性。而这两件事,在视觉、语音、生物、气象、机器人里同样成立——只是"世界"换成了图像、音频、氨基酸序列和大气状态,"对人说话"换成了"对任务交付"。

如果这篇文章只能留给你一样东西,我希望是一把尺子。看到一个新模型,先问两个问题:它是同一基座的后训练变体,还是新的预训练基座? 看到一个 AI 项目,也先问两个问题:这个领域是"标注贵"还是"判断难"? 答案会直接告诉你,该把资源投在预训练还是后训练上。

最后留一个反常识的推演。如果未来后训练的投入真的超过预训练,那决定模型差异的就不再是"谁读过更多书",而是"谁拥有更多可验证的环境"。竞争会从数据规模,转向场景密度。而按这个逻辑,那些天生自带验证器的行业——代码、数学、游戏、工业质检——会最先跑出来。因为它们不需要等人来打分,环境自己就会给出答案。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐