AI灾难将在一年内发生?
我更在意这则报道里的一个变化:AI公司已经开始为重大事故之后的局面做准备。技术如何失控、公众如何反应、政府如何立法,正在被放进同一套推演里。
至于“一年内发生灾难”,需要分清判断的依据。华尔街见闻转述Axios报道,多名业内人士担忧未来6至12个月可能出现重大事件。这是风险判断,文中没有给出足以确定事故时间和概率的证据。
风险正从模型输出延伸到现实系统
报道提到,Anthropic、OpenAI等公司正在推演大规模网络攻击等极端情景,涉及金融服务、互联网连接,以及电力和供水系统中断。
风险有两条路径:一条是AI智能体集群突破内部测试环境的限制;另一条是恶意行为者利用现有模型发动攻击。前者考验系统能否被控制,后者考验能力扩散之后如何防滥用。
我认为,这一区分很重要。模型自身表现安全,并不意味着它被接入现实系统、交给不同使用者之后,仍然安全。风险治理必须覆盖从模型到使用场景的整条链路。
企业也在准备事故后的政策博弈
这些公司一边通过红队测试推演最坏情景,一边提前向美国国会议员普及AI知识。按报道的说法,高管们认为当前推动监管立法的条件有限,但重大事故可能迅速改变政策讨论方向。
我的判断是,这既是风险沟通,也是争取政策影响力。企业希望在危机到来前,让自己的解释框架进入决策者视野,影响事故之后的法律和政策。
一旦AI造成严重现实伤害,原本持谨慎态度的公众可能转向反对。压力也会从具体产品扩展到企业高管,以及被认为监管不力的政治人物。技术事故由此可能演变成整个行业的信任危机。
紧急关闭开关解决不了全部问题
报道列出的政策主张跨度很大:禁止超级智能、暂停先进AI开发,以及要求先进系统设置紧急关闭开关。其中,关闭开关得到了一些跨党派和行业内支持,但全面关闭AI系统是否可行,仍受到质疑。
大量开放权重模型已经可以免费下载和使用。能力一旦分散到不同主体手中,治理就很难只靠要求少数公司停止服务。
我认为,关闭开关可以是具体系统的一道防线,却很难成为整个AI生态的总开关。报道提到,一些网络安全专业人士主张用AI对抗恶意AI。这意味着防御也需要持续升级,不能只寄望于危机发生时按下暂停键。
监管力度还受经济与政治约束
即使重大事故引发强烈反弹,监管也不会毫无阻力地收紧。AI基础设施建设已经与全球经济深度交织,放缓建设可能带来经济冲击。政府必须同时处理安全风险和限制措施的代价。
政治态度也未必能直接转化为政策。报道中,一些行业人士预计民主党可能在中期选举后推动更严格的限制,但党内分歧仍可能阻碍行动。与此同时,危机也可能促使两党暂时合作。
我的判断是,事故可能迅速打开立法窗口,但政策最终能走多远,仍取决于执行能力、经济承受力和政治共识。对企业而言,提前做红队测试、验证控制措施、准备事故响应,比猜测灾难会在哪个月发生更有实际价值。