O 'pai' da IA, Yoshua Bengio, se juntou a um projeto do Reino Unido para prevenir catástrofes de IA

Yoshua Bengio, um pesquisador de IA renomado, está se juntando a um projeto financiado pelo governo do Reino Unido chamado Safeguarded AI para incorporar mecanismos de segurança em sistemas de IA. O objetivo do projeto é construir um sistema de IA que possa verificar a segurança de outros sistemas de IA implantados em áreas críticas. O objetivo do Safeguarded AI é fornecer garantias quantitativas, como pontuações de risco, sobre os efeitos reais do mundo de sistemas de IA. O projeto combinará modelos científicos do mundo e provas matemáticas para verificar a segurança dos modelos de IA. Bengio deseja garantir que os futuros sistemas de IA não causem danos graves, pois as técnicas atuais são insuficientes para garantir seu comportamento seguro. O projeto Safeguarded AI criará um "guardião" de IA para entender e reduzir os riscos de segurança de outros agentes de IA. A ARIA está oferecendo financiamento a organizações em setores de alto risco para desenvolver aplicativos que possam se beneficiar de mecanismos de segurança de IA. A ARIA também está procurando estabelecer uma organização sem fins lucrativos para supervisionar o desenvolvimento dos mecanismos de segurança do Safeguarded AI. O projeto Safeguarded AI faz parte dos esforços do Reino Unido para se posicionar como um pioneiro na segurança de IA. Bengio espera que o projeto promova a colaboração internacional para abordar os riscos de sistemas de IA avançados.