AI ‘教父’ Yoshua Bengio 加入了英国项目，以防止AI灾难

著名的AI研究员Yoshua Bengio加入了英国政府资助的项目Safeguarded AI，以在AI系统中嵌入安全机制。该项目旨在构建一个AI系统，可以检查在关键领域部署的其他AI系统的安全性。Safeguarded AI的目标是为AI系统提供定量保证，如风险评分，以了解AI系统在现实世界中的影响。该项目将结合科学世界模型和数学证明来验证AI模型的安全性。 Bengio希望确保未来AI系统不会造成严重伤害，因为当前技术不足以保证它们的安全行为。 Safeguarded AI项目将创建一个“守门人”AI，以了解和减少其他AI代理的安全风险。ARIA正在为高风险行业的组织提供资金，以开发可能受益于AI安全机制的应用程序。ARIA还计划设立一个非营利组织，以监督Safeguarded AI安全机制的开发。Safeguarded AI项目是英国在AI安全领域开拓先锋的努力之一。 Bengio希望该项目将促进国际合作，以解决高级AI系统的风险。