AI 'godfather' Yoshua Bengio heeft zich aangesloten bij een UK-project om AI-rampen te voorkomen

Yoshua Bengio, een gerenommeerde AI-onderzoeker, sluit zich aan bij een door de Britse overheid gefinancierd project genaamd Safeguarded AI om veiligheidsmechanismen in AI-systemen te integreren. Het project heeft tot doel een AI-systeem te bouwen dat de veiligheid van andere AI-systemen kan controleren die worden ingezet in kritieke gebieden. Het doel van Safeguarded AI is om kwantitatieve garanties, zoals risicoscores, te bieden over de reële wereld-effecten van AI-systemen. Het project zal wetenschappelijke wereldmodellen en wiskundige bewijzen combineren om de veiligheid van AI-modellen te verifiëren. Bengio wil ervoor zorgen dat toekomstige AI-systemen geen ernstige schade veroorzaken, aangezien huidige technieken ontoereikend zijn om hun veilig gedrag te garanderen. Het Safeguarded AI-project zal een "poortwachter" AI creëren om de veiligheidsrisico's van andere AI-agenten te begrijpen en te verminderen. ARIA biedt financiering aan organisaties in hoog-risicosectoren om toepassingen te ontwikkelen die zouden kunnen profiteren van AI-veiligheidsmechanismen. ARIA zoekt ook naar een niet-gouvernementele organisatie om de ontwikkeling van de veiligheidsmechanismen van Safeguarded AI te controleren. Het Safeguarded AI-project maakt deel uit van de inspanningen van het VK om zichzelf te positioneren als een pionier op het gebied van AI-veiligheid. Bengio hoopt dat het project internationale samenwerking zal stimuleren om de risico's van geavanceerde AI-systemen aan te pakken.