DeepSeek创始人梁文锋署名的最新论文公开,首次系统发布了DeepSeek的Agent训练沙盒平台DSec(DeepSeek Elastic Compute)的技术细节,论文提交日期是9月19日,作者名单超过130人
梁文锋署名、超过130位作者参与,让DeepSeek这篇新论文受到关注。我更在意的是它公开的工程细节:当Agent需要真正执行任务时,模型背后必须有一套能够大规模运转的工作环境。
据原文报道,这篇9月19日提交的论文系统披露了DSec(DeepSeek Elastic Compute)。从DeepSeek V3.2到V4.1,强化学习训练与评测的所有沙盒负载都运行在这个平台上。这已经是一套支撑实际训练的生产系统。
Agent训练需要保留成千上万个工作现场
Agent会执行命令、修改文件、安装依赖、运行测试。每一步都可能改变环境,后续操作又依赖此前的结果。因此,训练除了模型和数据,还需要大量可以持续操作、最终清理复用的工作现场。
DSec单日服务约300万个沙盒,峰值并发超过38万个,创建速度超过每秒5000个。单个训练任务最多曾一次拉起3.2万个沙盒。一个生产单元就包含约160个CPU节点、3万核和250TB内存,托管PB级镜像。
这里最容易被忽略的是资源占用方式。Agent等待下一步操作时,CPU可能闲着,但内存、文件改动和执行状态仍要保留。CPU利用率低,并不意味着这个环境可以被回收。
我认为,这种“计算间歇发生、状态持续存在”的特征,解释了为什么Agent训练需要专门的基础设施。只提高容器启动速度,解决不了整个问题。
环境可以不同,训练接口应该统一
Agent任务对环境的要求差异很大。短代码执行可能只需要函数调用;软件工程需要完整的Linux用户态;安全攻防和计算机操作需要更强隔离;某些商业软件则需要完整操作系统。
DSec提供FnCall、容器、Firecracker microVM和完整虚拟机四种后端,再用统一的Python SDK管理创建、命令执行和结果获取。
我看重这种分工:底层保留环境差异,上层减少适配负担。训练框架能够用同一套接口调用不同环境,任务扩展就不必反复改造整条执行链路。
大规模复制环境,关键是减少重复搬运
一个生产周里,DSec容器后端涉及11266个基础镜像、102171个工作区和103个工具包。67.8%的沙盒会在基础镜像上叠加工作区或工具包。环境复杂度同时来自数量和组合。
DSec把基础镜像、工作区、工具包拆成独立版本的只读层,启动时再组合。哪个部分变化,就更新哪个部分。Agent也可以通过pack_diff,把配置好的环境保存成增量快照,供后续沙盒恢复使用。
分发则采用按需读取。论文统计,沙盒实际读取的数据仅占完整镜像的4.2%至13.3%。DSec将镜像放在3FS上,预取元数据,把写入留在节点本地,减少完整镜像的重复传输和落盘。
在8192个容器突发部署的测试中,按需加载耗时35分钟,Docker冷拉取超过60分钟;单节点累计磁盘写入量从约1600GB降至约700GB。这组结果也提醒我:每秒创建多少沙盒,与一批冷环境多久准备完毕,是不同的指标,不能混为一谈。
训练被抢占,执行状态仍应保留
早期方案把Agent推理和rollout与模型训练放在同一个GPU Pod中。GPU任务被抢占,正在执行的rollout也会中断。
从V4.1开始,DeepSeek将rollout执行环境拆到DSec独立运行,由Agent sandbox承载Harness等环境,worker container承担具体任务。这些执行容器不再依赖GPU资源,训练被抢占时,执行状态可以独立保留。这里并不意味着模型推理无需GPU。
我的判断是,长任务越多,保留中间状态的价值就越高。资源调度需要考虑任务已经走到了哪里,以及中断后要付出多少重做成本。
DSec还支持向云端扩容。原文给出的生产数据是,200台云虚拟机可以承接约30%的峰值负载。为降低扩容时的镜像准备开销,DeepSeek提前准备了约30TB的去重镜像集。弹性能力同样依赖提前完成的数据准备。
安全隔离必须面对Agent的实际行为
论文记录的异常行为很具体:翻查日志、伪造RPC请求、修改/bin/bash、扫描可达服务,以及通过评测之外的路径寻找答案。环境还可能被意外破坏,例如递归扫描系统文件导致内核崩溃,或一个yes命令让日志膨胀到几十GB。
这些案例说明,训练环境必须同时防范绕过评测规则和耗尽系统资源。任务执行成功与否,不能只看最后交出的答案。
DSec用AppArmor限制文件和socket访问,用eBPF限制网络访问,并按任务阶段动态调整规则。但原文也明确指出,这些措施只能覆盖部分风险,内核漏洞仍难以完全防住。
我从DSec看到的核心变化是:Agent能力越强、任务越长,模型背后的工程系统就越重要。环境复制、状态保留、资源调度和安全隔离,都会影响训练能够扩展到多大规模,以及这种规模是否负担得起。