能力更强的 AI,却缺乏足够的护栏 笔记

能力更强的 AI,却缺乏足够的护栏

AI 代理获取现实世界访问权限的速度快于安全机制的成熟速度,因此权限控制、隔离与监督对于防止有害行为至关重要。雅各布·科克森(Jacob Coxon)是一位曾在 OpenAI 从事模型训练工作三年、后加入 Anthropic 的研究员,他本周离开 Anthropic 时发出了直率的警告:AI 公司正朝着能力日益增强的系统加速推进……