"Крёстный отец" ИИ Йошуа Бенгио присоединился к британскому проекту по предотвращению катастроф, связанных с ИИ

Йошуа Бенджио, известный исследователь в области ИИ, присоединяется к правительству Великолепной проекту под названием Safeguarded AI, целью которого является внедрение механизмов безопасности в системы ИИ. Проект Safeguarded AI стремится создать систему ИИ, которая может проверять безопасность других систем ИИ, развернутых в критически важных областях. Цель Safeguarded AI - обеспечить количественные гарантии, такие как оценки риска, относительно реальных последствий внедрения систем ИИ в мире. В рамках проекта будут комбинироваться научные модели мира и математические доказательства для верификации безопасности моделей ИИ. Бенджио хочет обеспечить, чтобы будущие системы ИИ не причиняли серьезного вреда, поскольку текущие техники недостаточны для гарантии их безопасного поведения. Проект Safeguarded AI создаст "сторожевую" ИИ, чтобы понять и уменьшить риски безопасности других агентов ИИ. ARIA предлагает финансирование организациям в высокорисковых секторах для разработки приложений, которые могли бы извлечь выгоду из механизмов безопасности ИИ. ARIA также планирует создать некоммерческую организацию, чтобы надзирать за разработкой механизмов безопасности Safeguarded AI. Проект Safeguarded AI является частью усилий Великолепной по позиционированию себя как пионера в области безопасности ИИ. Бенджио надеется, что проект поспособствует международному сотрудничеству в решении рисков, связанных с высокоразвитыми системами ИИ.