AIの "名付け親 "ヨシュア・ベンジオが、AIの大惨事を防ぐ英国プロジェクトに参加

著名なAI研究者であるヨシュア・ベンジオが、AIシステムに安全メカニズムを組み込むための「Safeguarded AI」と呼ばれる英国政府出資のプロジェクトに参加している。 このプロジェクトは、重要な分野に配備された他のAIシステムの安全性をチェックできるAIシステムの構築を目指している。 Safeguarded AIの目標は、AIシステムの現実世界への影響について、リスクスコアなどの定量的な保証を提供することである。 このプロジェクトでは、科学的世界モデルと数学的証明を組み合わせて、AIモデルの安全性を検証する。 ベンジオは、現在の技術では安全な動作を保証するには不十分であるため、将来のAIシステムが深刻な危害を引き起こさないようにしたいと考えている。 Safeguarded AIプロジェクトは、他のAIエージェントの安全リスクを理解し、低減するための「ゲートキーパー」AIを作成する。 ARIAは、AIの安全メカニズムから恩恵を受ける可能性のあるアプリケーションを開発するために、リスクの高い分野の組織に資金を提供している。 ARIAはまた、Safeguarded AIの安全メカニズムの開発を監督する非営利組織の設立も検討している。 Safeguarded AIプロジェクトは、AI安全性のパイオニアとして自国を位置づけようとする英国の努力の一環である。 ベンジオは、このプロジェクトが高度なAIシステムのリスクに対処するための国際協力を促進することを期待している。