Anthropic CEO亲自下场！近2000字长文回应AI安全质疑
来源：深蓝科技
几个小时前，Anthropic首席执行官Dario Amodei亲自下场，公开回应外界对公司人工智能安全策略的质疑。
他强调，Anthropic始终坚持在技术前沿推动安全标准，但也承认，公司在部分问题上的处理仍有改进空间。
当地时间10月20日晚，Amodei在社交平台X上发布近2000字长文，回应一篇批评Anthropic的帖子。
该帖于10月19日发布，作者是AI安全倡导组织Encode AI的首席战略官Nathan Calvin。Calvin指责Anthropic在争夺超级智能主导权的过程中，逐渐将竞争置于安全承诺之上。
Calvin列举了Anthropic过去一年采取的九项举措，认为这些行动削弱了公司的安全立场。其中包括签署总额超过5000亿美元的计算资源协议，以及越来越多地依赖自家的Claude模型开发人工智能模型。
Calvin在原帖中详细阐述了相关批评，全文超过1500字。
Amodei表示，他认可Calvin在人工智能安全领域开展的调查工作，但不同意其提出的许多观点。
Amodei称，Anthropic的核心思路是，如果一家以人为本的科技公司能够持续处于技术前沿，就有机会为整个行业的安全发展发挥更大作用。
“我们的战略一直是我所说的‘力争上游’——通过展示如何负责任地构建技术，我们可以提高整个行业的标准。”Amodei写道。
为支持这一观点，Amodei列举了九项他认为能够提升人工智能安全水平的措施。他表示，这些举措虽然给Anthropic带来了“巨大的商业成本”，却产生了“显著的安全效益”。
其中包括仅向部分网络安全合作伙伴开放其能力强大的Mythos模型，以及限制向中国国有企业出售人工智能服务。
Amodei试图借此说明，Anthropic并非一味追求模型能力和商业增长，也在部分业务决策中考虑安全风险。
不过，Amodei也承认，公司在Calvin提出的部分问题上仍有改进空间。
争议之一涉及Anthropic本月向美国国会提交的一份法案草案。批评人士认为，相关内容可能增加联邦政府阻止危险人工智能模型的难度。
Amodei表示，公司会继续改进相关工作，但他仍为Anthropic已经取得的成绩感到自豪，并坚持现有的安全理念。
此次公开交锋发生之际，人工智能模型的安全问题正受到越来越多关注。
9月，部分人工智能研究人员对技术快速发展可能带来的极端风险发出警告，认为如果缺乏有效约束，能力日益强大的AI可能在未来十年内对人类生存构成威胁。
面对相关担忧，Amodei、OpenAI首席执行官山姆·奥特曼和SpaceXAI首席执行官伊隆·马斯克等行业领军人物均认同“放慢前沿步伐”的主张，即在推进人工智能技术发展的同时，确保相应的制衡与安全机制能够跟上。
与此同时，Anthropic也面临商业发展与安全承诺之间的平衡考验。该公司预计将于11月进行IPO，市场传出的估值预期高达2万亿美元。上周，Anthropic公布第三季度财报，营收达到168亿美元。
随着人工智能企业加速争夺市场份额，Anthropic如何协调技术研发、商业扩张与安全责任，将持续受到外界关注。
Amodei此次回应既是对外部质疑的正面反驳，也反映出人工智能安全承诺正面临更严格的审视。
下附Amodei回应原文译文，仅供参考:
感谢你分享这篇文章，@_NathanCalvin。我非常欣赏并支持你为人工智能安全所做的调查工作，相信你的评论是出于建设性和诚恳的初衷，而且有专门负责审查前沿人工智能公司行为的人士，对公众是有益的。我认为，如果像Anthropic这样规模的公司几乎每天都不受到严厉批评，那反倒是不正常的；对企业权力的强力制衡是自由社会的一种健康特征，尤其是在我们面临如此严峻的问题时更是如此。我也确实认同，你列举的某些例子确实是Anthropic的失误。
话虽如此，我不同意你帖子的核心观点。归根结底，你所批评的大部分内容，其实是Anthropic多年来秉持的基本变革理论所带来的结果。我们的战略一直是我所说的“力争上游”——通过展示如何负责任地构建技术，我们可以提高整个行业的标准。如果践行这一战略的公司处于技术前沿，推动“力争上游”的力量将有效得多；这是我反复领悟到的一个教训。从整体上看这一战略，我为我们的业绩感到自豪，并坚持这一战略。
我相信，如果列出Anthropic过去一年中那些有利于安全但对我们造成商业损失的举措，其数量远超你们列出的清单；同时，我也不同意你们清单中的某些条目。以下是Anthropic在你们所提及的同一时期(过去一年)所采取的一些举措，这些举措虽然在商业上代价高昂，却带来了显著的安全效益：
1. 在推动SB53法案(及其他州法律)的过程中，我们发挥了关键作用——当时这对公司而言在政治上风险极高，且人工智能监管极不受欢迎。事实上，我们曾主张通过比最终通过版本更严格的SB53法案；由于利益相关方众多，我们并非最终通过法案严格程度的决定性因素。
2. 我们的模型配备了非常严格的生物安全防护措施，因为我们在生物增强试验中观察到了令人担忧的结果，甚至发现并阻止了将我们的模型滥用于生物武器的潜在企图(如几周前发布的威胁情报报告中所述)。这是一项极其严重的威胁，我们对此采取零容忍态度。但极低的漏检率意味着会有相当高的误报率(尽管我们已花费数月时间改进分类器)，甚至多到让生物学家们调侃我们的分类器有多么严格，而竞争对手有时还会以宣传其更宽松的生物功能来攻击我们。在支持Claude用户生态系统这一我们极为重视的领域(生物医学科学；作为一名生物学家，这让我感到特别沮丧)，这让我们倍感痛苦，但这是正确的做法，我们打算继续坚持下去。
3. 同样，我们早在2月份就拥有了Mythos级模型，但直到6月(当时我们已建立了更强大的网络安全防护措施)才将其向公众开放。为了专注于网络防御，我们仅向有限的合作伙伴提供了这些模型。如果直接向所有人发布模型，从经济角度来看显然更为合理。我们很可能因此牺牲了数月模型领先优势中相当大的一部分。但正因如此，许多公司在具备网络能力的模型大量涌现之前，就已确保了其网络基础设施的安全。当然，在执行过程中本可以做得更好或管理得更妥当，但这正是我们当时的目标。
4. 在今年6月发表的《关于AI指数增长的政策》一文中，我曾公开且强烈主张政府应拥有阻止模型发布的权力。当时这一主张仍处于奥弗顿窗口之外，或者说处于窗口边缘，尽管我明白此后该窗口已发生位移。我们因此遭到了猛烈抨击。
5. 我无意重燃争端，但2026年2月的事件便是有力例证。显然，我们的公开立场本可能严重损害公司的未来。
6. 我们一直主张对向中国出口芯片和芯片制造设备实施出口管制，因为我们认为这能让民主国家在人工智能安全协议的谈判中占据强势地位。尽管此举给我们带来了与行业合作伙伴之间的矛盾——这些合作伙伴持有截然不同的观点，而我们又高度依赖他们——但我们依然坚持这一立场。
7. 据我所知，我们是首家——也是迄今唯一一家——限制向中国政府控制的企业销售人工智能服务的科技前沿公司，包括那些通过第三国运营的企业(否则这将是一个重大漏洞)。因此，为了避免助长那些可能帮助中国军方和情报机构的人工智能平台及应用，我们牺牲了大量的短期业务。我们还正在严厉打击“模型蒸馏”行为；一般而言，模型蒸馏对我们而言并非重大的商业威胁，但就像芯片出口一样，它涉及令人担忧的国家安全与安全问题，因此我们投入了大量精力和公司资源来应对这一问题。
8. 正如您所提到的，我们发布了大量报告、公告、详细模型说明、公共倡导材料等，所有这些都旨在向公众说明人工智能的风险。其中涉及的细节程度和投入力度，对于一家纯粹追求利润最大化的公司来说是难以想象的。
9. 就在本周，我们宣布将公司5%的股份(未来可能增加)投入到一个公益基金中。
所有这些决策都给我们带来了非常巨大的成本。公平地说，那些涉及暂缓或限制前沿技术应用的决策也带来了更广泛的代价——例如，如果没有这些限制，公众本可能从生物学领域的更快进展中受益，所以我并不是说我们的决策没有权衡取舍——但这些决策绝非出于追求利润。
对于每一项决策，你都可以推测出可能驱使我们的隐秘动机——我认为这是一个普遍真理：任何主题上的任何决策，总能被描绘成某种阴险的阴谋。但如果你仔细推敲，其中大多数最终都会显得相当牵强，或者完全站不住脚。例如，为了自己开展研究并与客户竞争而阻挠大量生物学研究，这绝非明智的商业举措；我们预计，对生态系统带来的益处将远超Anthropic自身所做的工作，二者将相辅相成。被视为对生物学家不友好，并不符合Anthropic的利益。我们的“生命科学验证计划”(该计划允许经过审核的生物学专业人士访问我们的模型)也驳斥了这一观点。
当然，另一部分人看到这一点后会提出不同的批评：认为Anthropic本就不该决定谁能访问什么内容。我同意这一点——从理想角度而言，这些决定本应由政府来做出，这也是我们倡导监管的原因。但眼下我们不得不做出这些决定，而助长生物恐怖主义绝非更好的选择。
我认为，即使我承认你列出的每一项指控，我仍会欣然将我的立场与之并列比较；我认为这根本不是难分高下的问题。当然，这在一定程度上是主观的，不同的人重视的重点也各不相同。也许你可以提出的一个反对理由是，上述几项涉及的是AI的滥用而非失控；如果你认为后者远比前者重要，这可能会改变你的权衡。但这并非Anthropic的观点——我们认为这两者都是严重的问题。你也可以不同意我们的决策，正如许多人那样，但我们的决策是前后一致的。
但我也不认同你列出的清单中的至少部分内容。一旦我们确立了“力争上游”的战略——该战略要求我们成为前沿人工智能公司——那么其中几项内容根本不构成对Anthropic战略或价值观的偏离。你列出的第1至第4项，无非是前沿竞争的典型例证，我们对此坚定支持：一方面，这些举措作为该战略的一部分，显然是理所当然的常规举措；另一方面，我们也坚定支持该战略的整体方向。
公平地说，当人工智能驱动的加速发展到安全措施难以跟上的地步时，确实存在一些值得正视(且我们正在正视)的重要问题。我们正接近这一临界点，这也正是推动我们思考“节奏控制”这一概念的原因。但第1至第4点是在达到该临界点之前采取的行动，根据Anthropic作为一家公司的战略，这些举措完全在预料之中。当然，有人可能不同意这一战略，但这属于更根本性的分歧，过去几年中你本随时都可以提出。
我同意，我们本可以更好地处理你提到的第7、8和9点。这些都属于“措辞或政策沟通不够审慎，或是因形势快速变化而导致各团队之间信息传递不够及时”的范畴。此类情况在大组织中屡见不鲜(Anthropic拥有超过5000 名员工)，甚至未必代表任何个人的失职或失误。我作为首席执行官，当然要承担责任。Anthropic的信息沟通量巨大，如果这些只是最糟糕的例子，坦率地说，我认为我们的表现已经相当不错，尽管我将继续努力确保我们做得更好。
您提到的第五点(关于我们《风险管理政策》(RSP)的变更)是最具实质性的内容，虽然对此可以有不同看法，但我认为，旧版更为僵化的《风险管理政策》曾导致许多情况：从技术上讲，我们被迫去做一些需要投入大量精力却在事后看来对安全并不重要的事情，同时却未能涵盖一些最重要的事项。当前RSP对透明度的重视带来了风险报告和路线图等机制，而其对独立外部审查的强调则为更深入的嵌入式评估奠定了基础。我认为所有这些举措都对推动行业向更高标准迈进起到了重要作用。在2023年9月的最初公告中，我们将RSP描述为“一个我们将在此基础上持续完善的早期版本”，并表示“快速迭代……几乎肯定必不可少”。我理解，调整计划总是会引发合理的质疑——但我认为我们从未表示过不会这样做。
关于您提到的第6点(在RSP之外另设FCF)，我知道我们的初衷是通过FCF严格遵守监管义务的字面和精神，同时仍能通过RSP尝试超越现行法律要求的、更具创新性的风险管理方法。我承诺会进一步深入研究此事，因为这是一个复杂的问题，而且我们可能尚未以正确的方式权衡各项考量因素。
总体而言，尽管Anthropic作为一家组织犯过许多错误——包括您列出的部分事项——但我认为我们一再采取了与公司利润相悖的严肃且实质性的行动，而且存在显著的负面偏见，扭曲了您上述此类评估。我们会始终努力做得更好，但再次重申，我对我们的过往业绩感到无比自豪，并对此坚信不疑。关于在这个快速变化的时刻，我们将如何进一步践行我们的价值观，我很快会发表更多看法。