El 'padre de la inteligencia artificial' Yoshua Bengio se ha unido a un proyecto del Reino Unido para prevenir catástrofes de IA

Yoshua Bengio, un investigador de IA reconocido, se une a un proyecto financiado por el gobierno del Reino Unido llamado AI Protegida para integrar mecanismos de seguridad en los sistemas de IA. El proyecto tiene como objetivo construir un sistema de IA que pueda verificar la seguridad de otros sistemas de IA desplegados en áreas críticas. El objetivo de AI Protegida es proporcionar garantías cuantitativas, como puntajes de riesgo, sobre los efectos del mundo real de los sistemas de IA. El proyecto combinará modelos del mundo científico y pruebas matemáticas para verificar la seguridad de los modelos de IA. Bengio quiere asegurarse de que los futuros sistemas de IA no causen daños graves, ya que las técnicas actuales son insuficientes para garantizar su comportamiento seguro. El proyecto AI Protegida creará un "guardián" de IA para comprender y reducir los riesgos de seguridad de otros agentes de IA. ARIA está ofreciendo financiamiento a organizaciones en sectores de alto riesgo para desarrollar aplicaciones que puedan beneficiarse de mecanismos de seguridad de IA. ARIA también está buscando establecer una organización sin fines de lucro para supervisar el desarrollo de los mecanismos de seguridad de AI Protegida. El proyecto AI Protegida es parte de los esfuerzos del Reino Unido para posicionarse como pionero en la seguridad de la IA. Bengio espera que el proyecto promueva la colaboración internacional para abordar los riesgos de los sistemas de IA avanzados.