AI-"Pate" Yoshua Bengio hat sich einem UK-Projekt angeschlossen, um AI-Katastrophen zu verhindern

Yoshua Bengio, ein renommierter KI-Forscher, schließt sich dem vom britischen Staat finanzierten Projekt "Safeguarded AI" an, um Sicherheitsmechanismen in KI-Systeme zu implementieren. Das Projekt zielt darauf ab, ein KI-System zu entwickeln, das die Sicherheit von KI-Systemen in kritischen Bereichen überprüfen kann. Die Zielsetzung von Safeguarded AI ist es, quantitative Garantien, wie Risikobewertungen, über die realen Auswirkungen von KI-Systemen bereitzustellen. Das Projekt kombiniert wissenschaftliche Weltmodelle und mathematische Beweise, um die Sicherheit von KI-Modellen zu verifizieren. Bengio möchte sicherstellen, dass zukünftige KI-Systeme keinen ernsthaften Schaden verursachen, da aktuelle Techniken unzureichend sind, um ihr sicheres Verhalten zu garantieren. Das Safeguarded AI-Projekt schafft ein "Torwächter"-KI, um die Sicherheitsrisiken von anderen KI-Agenten zu verstehen und zu reduzieren. ARIA bietet Finanzierungen für Organisationen in Hochrisikosektoren an, um Anwendungen zu entwickeln, die von KI-Sicherheitsmechanismen profitieren könnten. ARIA strebt auch danach, eine gemeinnützige Organisation zu gründen, um die Entwicklung von Sicherheitsmechanismen für Safeguarded AI zu überwachen. Das Safeguarded AI-Projekt ist Teil der Bemühungen des Vereinigten Königreichs, sich als Pionier in der KI-Sicherheit zu positionieren. Bengio hofft, dass das Projekt internationale Zusammenarbeit auf dem Gebiet der Risikobewältigung von fortgeschrittenen KI-Systemen fördern wird.