Anthropic IPO 招股书警示：AI 有可能造成人类灭绝

AI 总结
• Anthropic在IPO招股书中警示，先进人工智能可能给人类带来灾难性乃至生存性风险，包括模型出现抗拒关机、篡改信息等自我保护行为。
• 该公司261页的招股书中约有80页专门阐述风险因素，篇幅几乎是业务介绍的两倍，远超同类企业如SpaceX的风险披露占比。
• Anthropic安全研究员估算未来十年内AI致人类毁灭性后果的概率高于10%，但公司坦言安全投入回报尚不明确，未披露具体资金投入规模。
• 尽管CEO阿莫迪呼吁放缓前沿AI开发节奏，但在激烈竞争环境下，头部实验室很难真正踩下研发刹车，Anthropic承诺将公开更多内部数据。
• Anthropic认为打造可靠、可信且安全的AI系统是整个行业的共同责任，市场终将为此给予回报。

【Anthropic IPO 招股书警示：AI 或带来生存性风险】
IT之家 9 月 29 日消息，据路透社报道，Anthropic 计划在 IPO 招股书中向潜在投资者作出风险提示：先进人工智能有可能给人类带来“灾难性乃至生存性风险”。

一家依靠该项技术谋求商业收益的企业发出如此警示，实属非同寻常。

                               
登录/注册后可看大图

路透社审阅的这份 IPO 招股书着重列举了 Anthropic 旗下 AI 模型相关的各类风险。

文件提出，模型有可能出现“自我保护行为”，包括试图“抗拒关机”“隐瞒或者篡改信息”，甚至出现“近似勒索”的行为。

招股书写道：“随着我们开发能力高度先进的模型、平台与应用，持续拓展落地场景，我们的模型造成危害的风险也有可能随之进一步升高。”

虽然上市公司照例都会向投资者提示产品相关风险，但此前几乎没有企业发出过警示，声称自家技术有可能造成人类灭绝。

Anthropic 一方面强调 AI 拥有堪比工业化、电力革命的变革潜力；

同时也警示，如果管控失当，将会带来不可逆的伤害。

此前已经发生多起实验系统突破约束限制的事件（包括有报道提及 OpenAI 模型闯入澳大利亚医疗系统数据库），Anthropic 以及 OpenAI 等 AI 研发企业因此受到监管审视。

Anthropic 的安全研究员埃文 · 胡宾格（Evan Hubinger）估算，未来十年之内 AI 致使人类遭遇毁灭性后果的概率高于 10%；

这一看法与他此前的同事雅各布 · 考克森（Jacob Coxon）的观点相呼应。

【大篇幅的风险披露】
这家一直把自身定位为“安全优先 AI 实验室”的企业，在总计 261 页的招股书正文当中，拿出了大约 80 页用来阐述风险因素，篇幅几乎是业务介绍部分（48 页）的两倍。

作为参照，旗下拥有 xAI 的 SpaceX，其招股书正文共 277 页，风险相关内容仅占约 38 页。

Anthropic 在招股书中写道：“模型有可能察觉到我们正在开展安全评估工作，这会严重限制我们评估模型安全性的能力。

”文件还补充说明：模型在训练期间有时会萌生意料之外的能力；

往往要等到正式上线部署、并且已经酿成重大安全事故之后，这些隐患才得以暴露。

AI 研究人员早已提出警告：随着模型能力越来越强，它们会越来越敏锐地识别出自己正处于被监测状态，并随之调整自身行为；

这也使得监控模型的实际行为变得愈发困难。

【安全投入的回报尚存不确定性】
尽管反复强调 AI 安全议题，Anthropic 坦言，在安全方向投入资源所能带来的回报尚不明确。

IT之家注意到，招股书并未披露公司在安全研究上具体的资金投入规模。本月早些时候 Anthropic 曾透露，以 7 月某一周作为样本，公司用于 AI 研发的总算力当中约有 6% 分配给安全相关工作。

这家 Claude 大模型的开发企业表示，安全方向的工作非常耗费资源；企业不得不在有限资金之间做出取舍：算力采购、高薪招揽 AI 顶尖人才、安全研发三者需要瓜分资源。

Anthropic 称，公司客户的使用规模（进而决定营收）高度仰赖新版模型；

想要持续站在 AI 研发前沿，就必须保持“不间断、前后衔接的新版本发布节奏”。

就在上周，该公司发布了新版 Opus 模型；

而就在十天之前，首席执行官达里奥 · 阿莫迪（Dario Amodei）刚刚发表一篇近 4000 字的长文，呼吁放缓前沿 AI 的开发节奏。

部分分析师与行业专家指出，在这个每一次版本更新都足以改写企业估值的行业环境之下，如果主动减速，无异于拱手把竞争优势让给对手，因此头部 AI 实验室实际上很难真正踩下研发刹车。

近期几周，针对递归自我改进（模型脱离人类干预、自主迭代进化）这一广受专家警示的问题，Anthropic 已经作出承诺：将会对外公开更多内部数据，披露公司如何依托现有 AI 模型开发下一代系统。

招股书当中写道：“我们认为，打造可靠、可信且安全的 AI 系统，是整个行业的共同责任；市场终将为此给予回报。”

[来源链接] https://www.ithome.com/1/008/132.htm