AI 'gudfader' Yoshua Bengio har tilsluttet sig et UK-projekt for at forhindre AI-katastrofer

Yoshua Bengio, en kendt AI-forsker, tilslutter sig et regeringsfinansieret projekt i Storbritannien kaldet Sikker AI for at indbygge sikkerhedsmekanismer i AI-systemer. Projektet har til formål at opbygge et AI-system, der kan kontrollere sikkerheden af andre AI-systemer, der er udrullet i kritiske områder. Sikker AI's mål er at give kvantitative garantier, såsom risikoscore, om de reelle verdens effekter af AI-systemer. Projektet vil kombinerer videnskabelige verdensmodeller og matematiske beviser for at verificere sikkerheden af AI-modellerne. Bengio ønsker at sikre, at fremtidige AI-systemer ikke forårsager alvorlig skade, da nuværende teknikker er utilstrækkelige til at garantere deres sikre adfærd. Sikker AI-projektet vil skabe en "portvagt" AI for at forstå og reducere sikkerhedsrisikoen for andre AI-agenter. ARIA tilbyder finansiering til organisationer i højrisikosektorer for at udvikle applikationer, der kan gavne af AI-sikkerhedsmekanismer. ARIA søger også at etablere en nonprofit-organisation for at overvåge udviklingen af Sikker AI's sikkerhedsmekanismer. Sikker AI-projektet er en del af Storbritanniens bestræbelser på at positionere sig som pionér inden for AI-sikkerhed. Bengio håber, at projektet vil fremme internationalt samarbejde om at håndtere risikoen ved avancerede AI-systemer.