Le 'parrain' de l'IA, Yoshua Bengio, a rejoint un projet au Royaume-Uni pour prévenir les catastrophes de l'IA

Yoshua Bengio, un chercheur en IA de renommée, rejoint un projet financé par le gouvernement du Royaume-Uni appelé Safeguarded AI pour intégrer des mécanismes de sécurité dans les systèmes d'IA. Le projet vise à construire un système d'IA capable de vérifier la sécurité d'autres systèmes d'IA déployés dans des domaines critiques. L'objectif de Safeguarded AI est de fournir des garanties quantitatives, telles que des scores de risque, concernant les effets dans le monde réel des systèmes d'IA. Le projet combinerait des modèles du monde scientifique et des preuves mathématiques pour vérifier la sécurité des modèles d'IA. Bengio souhaite s'assurer que les futurs systèmes d'IA ne causent pas de dommages graves, car les techniques actuelles sont insuffisantes pour garantir leur comportement sécurisé. Le projet Safeguarded AI créera un "gardien" IA pour comprendre et réduire les risques de sécurité des autres agents IA. ARIA propose des financements aux organisations opérant dans des secteurs à haut risque pour développer des applications qui pourraient bénéficier de mécanismes de sécurité IA. ARIA cherche également à établir une organisation à but non lucratif pour superviser le développement des mécanismes de sécurité de Safeguarded AI. Le projet Safeguarded AI fait partie des efforts du Royaume-Uni pour se positionner comme un pionnier dans la sécurité de l'IA. Bengio espère que le projet encouragera la collaboration internationale pour aborder les risques des systèmes d'IA avancés.