← 返回列表

大模型的下半场:当预训练不再是唯一战场

Pre-train 的军备竞赛已接近尾声,真正决定胜负的战场,正在转移到 Post-train 和 Agent 框架。从算力分配表的变迁、Yupp 的关闭,到模型与框架的双向进化,这场竞争的节奏已经变了。


最近读了一篇访谈,来自播客《张小珺商业访谈录》——财经媒体人张小珺对小米大模型团队负责人罗福莉的长篇对话。罗福莉曾参与训练 DeepSeek V3,目前主导研发 MiMo-V2 系列模型,这是她第一次接受长时间的技术访谈。读完之后有些想法想整理出来,这篇文章算是一个读后延伸。

一、凌晨两点的觉醒

2026 年春节期间,罗福莉在深夜装上了 OpenClaw。她原本对这个产品充满抵触——创始人的运营风格太过玄幻,本地化、24 小时这些卖点在她看来不过是产品定义而已。但当她第一次真正开始对话,时间从凌晨两点一直走到天亮。

她后来这样描述那一晚:"不知道是多巴胺还是内啡肽,持续在分泌,让我兴奋到完全睡不着觉。"

这个细节值得一提,不是因为它罕见。类似的"第一次体验"在过去几年里发生过很多次——ChatGPT 横空出世时有,DeepSeek R1 刷屏时有。但罗福莉不是普通用户,她是亲手参与训练过 DeepSeek V3、主导研发 MiMo-V2 系列的一线研究者。让一个清楚知道模型是怎么被造出来的人彻夜兴奋,意味着她感受到的不只是产品体验的跃升,而是某种更底层的东西变了。

那个"更底层的东西",正是这篇文章想聊的。

要理解它,需要先搞清楚一件事:一个大模型,究竟是怎么被造出来的。

二、大模型是怎么炼成的

大模型的生产链条,大致可以分成三层:预训练、后训练和推理。三层各司其职,但权重正在悄悄发生变化。

预训练(Pre-train):打基础教育

预训练是整个流程最重、最烧钱的一环。简单理解,就是用海量文本——网页、书籍、代码——反复喂给模型,让它在这个过程中学会语言的规律、世界的常识和基本的推理逻辑。这个阶段的竞争核心是三件事:数据质量够不够好、模型架构设计得够不够高效、能堆多少算力进去。

预训练结束后,产出的是一个"基座模型"。它博览群书,但不一定听话,也不一定能帮你干什么具体的事。

后训练(Post-train):职业培训加价值观塑造

后训练在基座之上进行,目标是让模型从"能说话"变成"有用"。这个阶段通常包含几种方法:SFT(监督微调)让模型看人类示范的好答案,学会怎么好好回答问题;RL(强化学习)让模型通过大量尝试和反馈,学会在有标准答案的领域(比如数学、代码)自己想清楚再说。

在大模型发展的早期,后训练是相对短暂的收尾工作,主要目的是让模型"变得礼貌"。但现在,这一层正在成为真正的战场,原因后面会讲到。

推理(Inference):模型被实际使用的过程

推理是模型训练完成之后,面向真实用户提供服务的阶段。它不属于训练体系,而是部署侧的事——决定了模型跑多快、每次调用多贵、能不能扛住大规模并发。MTP 加速、KV Cache 优化这些技术,都发生在这一层。

罗福莉在访谈中提到,MiMo-V2-Pro 的推理速度能达到 60 至 100 TPS(每秒处理的 token 数量),这在当前一代模型里属于较快的水平(官方声称,未经独立验证)。这个数字背后,是预训练阶段就做好的架构选择——为推理效率预留了足够的空间。

三层的关系可以这样理解:预训练决定模型的知识上限,后训练决定它在真实任务中的实际可用性,推理决定这个能力能否被规模化地交付出去。

在大模型发展的前几年,竞争基本集中在第一层。谁的预训练数据更好、架构更先进、算力更充足,谁就能训出更强的基座,后面的事几乎是顺理成章。但这个逻辑正在松动——各家基座模型之间的能力差距在收窄,预训练的边际收益在下降。在罗福莉看来,现在各家在这个维度上已经没有明显代差了。

这种收窄,从一组算力分配数字上体现得最为清楚。

三、一张算力分配表的变迁

罗福莉在访谈中分享了她对训练侧算力分配变化的个人观察——这是她基于自身经历的判断,不代表行业共识:

"至少在 Chat 时代,for 研究、for Pre-train 和 for Post-train 的用卡比例非常夸张,比如 3:5:1,现在一个非常合理的用卡比例可能是 3:1:1。"

这里的"卡"指的是训练侧的 GPU 资源,和面向用户服务的推理卡是完全独立的两本账。她还补充:"预训练跟后训练一个比例,这是今年可能发生的很大变化。顶尖团队应该都是 1:1 了。"

表面上看,这组数字说的是 Pre-train 和 Post-train 之间的权重变化。但按此比例推算,还有一层变化更值得关注:研究算力的相对占比。

Chat 时代,研究:Pre-train:Post-train 是 3:5:1,研究占总量约三分之一。到了 Agent 时代变成 3:1:1,研究占总量接近五分之三。Pre-train 从占大头变成和 Post-train 持平,而研究的相对权重反而大幅上升——这是罗福莉原话中没有直接点出、但比例数字背后隐含的另一重变化。

这背后的逻辑不难理解。罗福莉在访谈中说,在 Agent 框架的辅助下,一个研究想法从冒出来到跑完实验验证,以前需要一两周,现在可能一两个小时就能完成。速度上来了,能并行跑的实验数量就上去了,研究侧对 GPU 的消耗自然随之增加。与此同时,各家基座模型的能力差距在收窄,继续在 Pre-train 上无限堆卡的边际收益正在下降。真正的分化,开始发生在谁能更快验证新的 Post-train 方向。

换句话说,这场竞争的节奏变了。以前拼的是谁能把基座训得更大更好,现在拼的是谁能更快地在 Post-train 和 Agent 方向上跑出新的结果。

四、当评测标尺本身失效

说到竞争格局的变化,有一个案例很能说明问题。

2026 年 3 月底,AI 模型评测初创公司 Yupp 宣布关闭,平台于 4 月 15 日正式下线。这家公司的开局堪称梦幻:3300 万美元种子轮,由 a16z crypto 的 Chris Dixon 领投,Google DeepMind 首席科学家 Jeff Dean、Twitter 联合创始人 Biz Stone 等 45 位知名人士跟投,积累了 130 万注册用户,还签下了几家 AI 实验室作为付费客户。从成立到关门,不到 22 个月。

Yupp 做的事情,逻辑上并不复杂:让用户免费使用 800 多个 AI 模型并对结果评分,把这些偏好数据卖给 AI 厂商。本质上是用众包方式生产 RLHF(基于人类反馈的强化学习)所需要的训练数据。

创始人 Pankaj Gupta 在关闭公告中写道:"AI 模型能力的格局在过去一年里发生了剧烈变化,未来还会继续快速变化。未来不只是模型,而是 Agent 系统。"

这句话几乎把 Yupp 的死因说清楚了。它同时撞上了三堵墙:

其一,顶尖模型之间的能力差距在缩小,用户专门去一个平台做多模型对比评测的需求自然下降。其二,AI 厂商对训练数据的口味变了,从"量大的众包偏好"转向 Scale AI 这类公司提供的"领域专家精标数据"——Scale AI 官方明确将语言学、编程、数学等领域的专业化标注团队作为核心竞争力,普通用户点一下"这个回答更好"的价值大幅贬值。其三,也是最根本的一点,用户的需求本身变了——从"哪个模型回答得好"转向"哪个 Agent 能帮我把任务做完"。Yupp 测量的东西,不再是行业最需要被测量的东西。

旧的尺子,量不了新的竞争。

Yupp 的遭遇不是个例。它暴露的是一个更大的结构性困境:静态 Benchmark 在顶尖模型之间已接近饱和,分不出高下;而 Agent 场景下的动态评估——如何衡量一个模型在真实的多轮任务、跨工具调用、长程规划中的实际完成质量——目前还没有任何团队给出公认的解法。评测这个赛道本身,正站在一个没有地图的路口。

这个话题值得单独展开,这里先放下。但它指向的问题,和接下来要说的事紧密相连:当旧的评估标准失效,竞争的真正战场在哪里?

五、模型和框架开始互相进化

说回罗福莉最开始那个问题:她在 OpenClaw 上感受到的"底层变化",究竟是什么?

她给出的答案,是一套她之前从未见过的双向进化机制。

她用 Claude Opus 4.6 反复调整 OpenClaw 的框架,包括重新设计记忆系统、重写多智能体协作逻辑。框架改好之后,她把自己团队正在训练的 MiMo-V2-Pro 接进去,发现在这套精心编排的框架下,一个尚未针对 Agent 场景专门优化的模型,表现出乎意料地好。框架补上了模型的短板,让它在绝大多数场景里发挥出接近顶级水平的表现。

这是飞轮的第一圈:顶尖模型帮你把框架设计好,好框架让普通模型也能好用。

但飞轮不止转一圈。更好的框架意味着更丰富的真实使用场景,这些场景产生的交互数据,可以转化成新的 Post-train 训练素材,反过来提升模型在 Agent 环境中的稳定性和泛化能力,进一步推动框架的迭代。

对于这个过程,罗福莉有一个判断:

"你确实需要这个模型跟你这个 Agent 的架构本身,同步往前走。"

这意味着,单纯拼 Pre-train 参数规模的时代,正在让位于一个更复杂的竞争维度。1T 参数的基座,在她看来是当前阶段做到接近 Claude Opus 4.6 水准的入场券,但入场之后的竞争是另一回事。

她还有一句话,某种程度上是对整个行业现状最直接的判断:

"上一个时代的成功并不意味着下一个时代的领先,现在基本上大家在同一水平线。"

Pre-train 时代积累的优势,在 Agent 时代的新起跑线面前,折旧得比大多数人预期的快。


这场竞争还在进行中,结果远未确定。罗福莉在访谈里说"接下来两三个月会非常精彩",这句话本身就是最诚实的态度——连最接近一线的人,也只能看到未来两三个月,而不是两三年。

我自己读完这篇访谈的感受是:技术范式的转折期,往往比人们预期的更短、更剧烈。Yupp 用不到两年证明了,站错了浪就什么都没有。而罗福莉在春节深夜装上 OpenClaw、从凌晨两点聊到天亮的那个时刻,或许正是她感受到浪头要来的瞬间。

至于浪打到哪里,还需要时间来回答。

关于这篇文章:本文是对张小珺对罗福莉访谈的读后延伸,所有关于算力分配比例、MiMo-V2-Pro 性能的数字,均来自罗福莉个人的经验判断,不代表行业共识,也未经独立验证。Yupp 关闭的相关数据来自 TechCrunch 报道和官方公告。