Yoshua Bengio, um pesquisador de IA renomado, está se juntando a um projeto financiado pelo governo do Reino Unido chamado Safeguarded AI para incorporar mecanismos de segurança em sistemas de IA. O objetivo do projeto é construir um sistema de IA que possa verificar a segurança de outros sistemas de IA implantados em áreas críticas. O objetivo do Safeguarded AI é fornecer garantias quantitativas, como pontuações de risco, sobre os efeitos reais do mundo de sistemas de IA. O projeto combinará modelos científicos do mundo e provas matemáticas para verificar a segurança dos modelos de IA. Bengio deseja garantir que os futuros sistemas de IA não causem danos graves, pois as técnicas atuais são insuficientes para garantir seu comportamento seguro.O projeto Safeguarded AI criará um "guardião" de IA para entender e reduzir os riscos de segurança de outros agentes de IA. A ARIA está oferecendo financiamento a organizações em setores de alto risco para desenvolver aplicativos que possam se beneficiar de mecanismos de segurança de IA. A ARIA também está procurando estabelecer uma organização sem fins lucrativos para supervisionar o desenvolvimento dos mecanismos de segurança do Safeguarded AI. O projeto Safeguarded AI faz parte dos esforços do Reino Unido para se posicionar como um pioneiro na segurança de IA. Bengio espera que o projeto promova a colaboração internacional para abordar os riscos de sistemas de IA avançados.