AI 'gudfaren' Yoshua Bengio har sluttet seg til et UK-prosjekt for å forhindre AI-katastrofer

Yoshua Bengio, en kjent AI-forsker, slutter seg til et UK-regjering-finansiert prosjekt kalt Sikkerhetsværnet AI for å bygge inn sikkerhetsmekanismer i AI-systemer. Prosjektet har som mål å bygge et AI-system som kan kontrollere sikkerheten av andre AI-systemer som er utplassert i kritiske områder. Sikkerhetsværnet AI's mål er å gi kvantitative garantier, som risikoscore, om den virkelige verdenens effekter av AI-systemer. Prosjektet vil kombinere vitenskapelige verdensmodeller og matematiske beviser for å verifisere sikkerheten av AI-modellene. Bengio ønsker å sikre at fremtidige AI-systemer ikke forårsaker alvorlig skade, siden nåværende teknikker er utilstrekkelige til å garantere deres sikre atferd. Sikkerhetsværnet AI-prosjektet vil skape en "portvokter" AI for å forstå og redusere sikkerhetsrisikoene for andre AI-agenter. ARIA tilbyr finansiering til organisasjoner i høyrisikosektorer for å utvikle applikasjoner som kan dra nytte av AI-sikkerhetsmekanismer. ARIA ser også etter å etablere en nonprofit-organisasjon for å overvåke utviklingen av Sikkerhetsværnet AI's sikkerhetsmekanismer. Sikkerhetsværnet AI-prosjektet er en del av Storbritannias innsats for å posisjonere seg som en pioner innen AI-sikkerhet. Bengio håper at prosjektet vil fremme internasjonal samarbeid om å håndtere risikoene med avanserte AI-systemer.