Mrinank Sharma 解释为什么离开 Anthropic 及其新项目
领导 Anthropic 保护 AI 系统 团队的研究员公开了一份内部通信。在其中，他详细说明了离职的原因，并透露了他在算法安全领域职业生涯的下一步。🧠
离职决定的原因
Sharma 表示，他的离职与关于确保人工智能安全战略的根本分歧有关。他认为开发这些系统的速度超过了我们验证它们不构成危险的能力。因此，他选择从更自主和独立的位置集中精力。
其论点的关键点：- 在如何优先考虑安全方面，开发 AI 时存在方法差异。
- 当前技术进步的速度快于我们实施有效保障措施的能力。
- 他更喜欢从外部框架和更大的行动自由来处理这个问题。
“有时，保护沙堡最安全的方法是远离海岸，在更远的地方建造一道堤坝。”
未来：一个新的非营利组织
前主任宣布，他将创立一个实体，致力于分析最复杂 AI 模型所带来的危险。他的目标是评估和减少大规模潜在威胁，与其他专家合作制定更坚实的协议。
新举措的目标：- 创建一个专注于研究高级 AI 风险的组织。
- 合作与研究社区建立稳健的安全规范。
- 缓解可能在全球范围内出现的潜在威胁。
展望未来
Anthropic AI 安全关键人物的离职突显了行业中现有的辩论。Sharma 的新项目旨在填补空白，促进对风险的独立评估，同时技术继续其加速演进。🔍