AI 'gudfader' Yoshua Bengio har anslutit sig till ett UK-projekt för att förhindra AI-katastrofer

Yoshua Bengio, en känd AI-forskare, ansluter sig till ett regeringsfinansierat projekt i Storbritannien som kallas Safeguarded AI, med syftet att integrera säkerhetsmekanismer i AI-system. Projektet syftar till att bygga ett AI-system som kan kontrollera säkerheten hos andra AI-system som är utplacerade i kritiska områden. Safeguarded AIs mål är att ge kvantitativa garantier, till exempel riskpoäng, om de verkliga världseffekterna av AI-system. Projektet kommer att kombinera vetenskapliga världsmodeller och matematiska bevis för att verifiera säkerheten hos AI-modellerna. Bengio vill se till att framtida AI-system inte orsakar allvarlig skada, eftersom nuvarande tekniker är otillräckliga för att garantera deras säkra beteende. Safeguarded AI-projektet kommer att skapa en "gatekeeper"-AI för att förstå och minska säkerhetsriskerna med andra AI-agenter. ARIA erbjuder finansiering till organisationer i högrisksektorer för att utveckla applikationer som kan dra nytta av AI-säkerhetsmekanismer. ARIA är också på väg att etablera en ideell organisation för att övervaka utvecklingen av Safeguarded AIs säkerhetsmekanismer. Safeguarded AI-projektet är en del av Storbritanniens ansträngningar att positionera sig som pionjär inom AI-säkerhet. Bengio hoppas att projektet kommer att främja internationellt samarbete om att hantera riskerna med avancerade AI-system.