字节讨论训超5万亿参数模型
我更关注的,不是“5万亿参数”这个数字本身,而是字节为什么此时考虑把模型规模推到这个量级。
报道所描述的计划仍在早期讨论阶段,最终是否训练、是否发布都没有确定。但它已经清楚地反映出字节的判断:在语言模型上继续按现有尺度追赶,很难迅速改变位置,不如把资源集中到一次更大的跃迁上。
这不是常规升级,而是一场系统性的重注。
多模态领先,语言模型承压
过去半年,Seed呈现出明显的两面性。
一面是多模态模型表现突出。Seedance和Seedream获得市场关注,也成为火山引擎模型服务收入和Token消耗的重要支撑。Seedance的经验让字节看到,只要模型在关键能力上做到领先,用户和收入就可能快速聚集。
另一面是语言模型的市场反响有限。行业竞争的重心迅速转向Coding,Anthropic率先打开程序员和企业市场,国内的智谱、月之暗面也在这一方向加速。字节虽然拥有庞大的豆包用户和领先的API业务规模,但语言模型对商业增长的贡献并不突出。
这说明,用户规模、渠道能力和算力储备不能自动转化为基础模型领先。产品分发可以放大优势,却不能替代模型能力本身。
大模型之争已经进入商业闭环
字节面临的压力不只来自评测排名,也来自收入结构。
报道中的数据表明,豆包大模型超过一半的Token消耗来自Seedance和Seedream,语言模型占比不高。与此同时,短剧行业增速变化又影响了视频模型的Token增长,火山引擎的实际消耗低于原定目标。
这暴露了单点领先的局限。多模态可以形成强劲增长,但如果语言模型,尤其是Coding能力没有建立优势,企业服务的增长基础就不够稳固。
所以,补强Coding不是追逐一个热门功能,而是在争夺高频、可付费、能持续产生真实反馈的数据入口。字节把相关研发资源集中起来,并引入专项负责人,本质上是在补齐从模型能力到商业收入的闭环。
不靠蒸馏追赶,代价是接受短期落后
报道中另一个值得注意的选择,是张一鸣反对用蒸馏快速追赶。
蒸馏可以较快改善模型表现,但如果主要复制领先模型已经具备的能力,结果只能不断接近别人,很难形成自己的技术上限。字节愿意接受一段时间的落后,换取从预训练、数据和底层能力上建立独立壁垒。
我认为,这个判断比5万亿参数更重要。
参数规模只是手段。真正的问题是,字节是否愿意为长期原创能力承受短期排名、收入和组织焦虑。如果一面追求智能上限,一面又要求每个阶段都立即领先,团队最终还是会回到最短路径。
张一鸣同时强调Coding的重要性,又提醒团队不要被Coding完全牵着走。这两句话并不矛盾:眼下必须补课,但长期不能把下一代模型的方向等同于今天最热门的评测项目。
“大力出奇迹”正在改变形式
字节过去的典型打法,是同时投入多个团队和项目,通过赛马找到胜出者。从早期应用到短视频、海外市场,这种方式多次奏效。
但训练超大语言模型不是简单复制应用层赛马。它需要巨量算力、更多样的数据、复杂的系统工程,以及多个部门持续协作。方向分散和职责重叠,在这里会直接变成训练成本和组织损耗。
因此,字节正在Seed内部收拢同一方向的资源,明确职责,推动跨部门合作。这意味着“大力出奇迹”不再只是多投项目,而是把足够多的资源压到同一个复杂问题上。
Seedance提供了一个先例。当行业更多转向后训练时,Seedance继续加大预训练投入,并通过架构和工程优化取得领先。字节现在希望把这套解题方式迁移到语言模型。
但语言模型的难度高得多。视频模型的成功不能直接证明更大语言模型也会成功。参数从数万亿继续向上扩张,考验的不只是算法,而是数据质量、基础设施效率、训练稳定性和组织协同。任何一个环节失效,规模都可能只剩下昂贵。
真正的赌注是组织能力
如果超5万亿参数模型最终启动,表面上看,字节赌的是规模;更深一层,赌的是自己能否把算力、人才、数据、产品和商业场景组织成一个系统。
字节的优势很清楚:算力储备充足,基础设施能力强,人才密度高,还有豆包、飞书和火山引擎提供真实使用场景。它也有把复杂目标拆解并持续投入的经验。
它的挑战同样清楚:如何减少赛马造成的内耗,如何让部门之间真正共享资源,如何在短期业务压力下坚持长期技术路线,如何把多模态的成功转化为更普遍的基础模型能力。
所以,这次讨论的价值不在于宣布了一个更大的数字。它标志着字节正在承认语言模型上的差距,并试图用自己最熟悉的方式解决问题:先集中资源,再把一个极难的问题拆开、做透。
“大力”能够创造机会,但不会自动产生奇迹。最后决定结果的,是资源能否被组织成能力。