斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开
过去谈大模型开源，通常是开放权重、代码或技术报告。Marin 这次更进一步：把一个前沿模型从小规模试验到正式训练的过程持续公开。
我认为，真正值得关注的不是“直播”带来的围观感，而是大模型训练中最少被外界看见的部分——过程——正在成为公开知识。
一次公开的超大规模训练
斯坦福大学教授、Simile AI 创始人 Percy Liang 宣布，Marin 开放实验室已经启动 Marin 535B-A23B 的训练。
这个混合专家模型拥有 5350 亿总参数，每次激活约 230 亿参数。团队准备了 18.75 万亿 token 的训练数据，使用 11 套 GB200 NVL72 系统，约合 792 颗 GB200 GPU。预计训练持续约三个月，总计算量约为 2.7×10²⁴ FLOPs，之后还会进入后训练阶段。
规模本身很大，但这不是最重要的。过去外界只能看到模型完成后的能力和评测成绩，这一次，人们可以持续看到训练曲线、模型状态、数据构成、工程配置和实验记录。
一个大模型不再只是训练完成后突然出现的产品，而成为一个可以被观察的成长过程。
正式训练之前，先搭一架“规模阶梯”
团队没有直接押注主模型，而是先训练了四个不同规模的模型，组成一套 Scaling Ladder。
最小的模型为 1.6B-A61M，使用 480 亿 token；最大的预备模型为 27.7B-A1.2B，使用 9260 亿 token。这样做，一是提前发现工程和训练问题，二是根据小模型在不同规模下的表现，预测主模型的训练结果。
这套方法揭示了大模型训练的一个基本事实：真正的超大规模训练不是一次孤注一掷，而是由许多较小实验逐层验证出来的。
但预测并不意味着一切都在掌控之中。Percy Liang 也明确表示，这是团队迄今规模最大的一次训练，他们预期会遇到意料之外的情况。
正因为结果并不确定，公开过程才有价值。如果只展示成功后的模型，人们看到的是经过整理的结论；如果连偏差、故障和失败都保留下来，外界才有机会理解结论是怎样形成的。
被打开的不只是训练曲线
Marin 计划公开的内容覆盖多个层面：训练数据的混合比例和处理方式，不同领域数据如何进入模型；训练配置、代码与实验设计；实时 loss、模型状态以及各阶段的预测结果。
这些恰恰是以往前沿模型最不透明的部分。
对于 GPT-4、Claude、Gemini 这类模型，外界通常只能接触最终能力、基准测试分数和有限的论文说明。数据怎样配比，训练中失败过什么，哪些超参数有效，loss 如何变化，规模定律的预测是否准确，往往都隐藏在实验室内部。
所以我更愿意把这次尝试看成一种研究方式的变化：开放不再只是交付最终成果，也包括公开成果形成的路径。
如果这种方式能够延续，大模型训练就有可能像论文和开源软件一样，被同行观察、讨论和协作改进。
公开过程本身就是一间课堂
训练开放之后，外部观察者已经开始围绕实时数据讨论具体问题。
例如，有人注意到大约第 500 个 step 附近，参数范数出现峰值。进一步分析发现，这个变化来自 router_bias。它不是通过梯度训练得到的普通参数，而是混合专家模型中 token 平衡机制的一部分，因此具有不同的动态规律。
这个例子很小，却能说明公开训练的实际意义。过去只有实验室内部人员可能遇到、追踪并解释这类现象；现在，外部研究者也能基于同一组实时数据提出问题、验证判断并分享解释。
人们学习的不只是一个模型最后训练得好不好，还包括怎样读曲线、怎样定位异常、怎样理解复杂系统中的局部变化。
Percy Liang 同时开设了《CS336：Language Models From Scratch》课程，目标是让学生完整理解语言模型如何从零构建。课程提供理论和方法，Marin 的公开训练则展示真实规模下的工程实践。两者放在一起，构成了一套从课堂到训练现场的学习路径。
最值得看的，可能不是最终成绩
三个月后，这个模型的实际能力当然重要。但在我看来，更有长期价值的是：Scaling Ladder 的预测是否准确，训练中会出现哪些异常，团队如何判断和修复，哪些原有假设最终被现实推翻。
模型结果只属于这一次训练，过程中积累的方法和教训却可能被后来者反复使用。
大模型训练长期像一间紧闭的暗室。Marin 做的事情，是把门打开，让外界看到里面并不是一条从算力直接通向能力的直线，而是由数据、实验、预测、偏差、故障和修正共同组成的复杂过程。
当失败也能被看见，所谓开源才开始从“开放产品”走向“开放知识”。