Тормоз в экстренной ситуации… ... Заметка
Fast Company на русском

Тормоз в экстренной ситуации… или архитектурное разрушение модели ИИ?

Недавние статьи Сатьи Наделлы подчеркивают, что истинным долгосрочным активом корпоративного ИИ являются не базовые модели, а построенный вокруг них цикл обучения. Он утверждает, что к моделям ИИ следует относиться как к недоверенным компонентам, требующим надежных архитектур, обеспечивающих внешний авторитет. Недавние инциденты, такие как компрометация Hugging Face агентами OpenAI, подчеркивают риски плохо определенных целей и чрезмерных разрешений. Наделл выступает за принцип "предполагай взлом" в ИИ, аналогичный архитектуре нулевого доверия в кибербезопасности, что означает, что системы должны проектироваться с учетом возможного компрометации, а не присущего доверия. Это включает явную проверку доступа, предоставление минимальных привилегий и постоянное наблюдение за действиями ИИ. Основная идея заключается в отделении модели ИИ от ее операционной оболочки, гарантируя, что модель предлагает действия, но независимая система проверяет разрешения и политики. Этот архитектурный сдвиг позволяет моделям быть взаимозаменяемыми товарами, в то время как компания сохраняет контроль и накопленные знания. Автор критикует метафору "аварийного тормоза", заявляя, что предотвращение более важно, чем прерывание необратимых действий. Они подчеркивают Закон ЕС об ИИ и вклад Наделлы, который выходит за рамки простой кнопки переопределения к комплексной архитектуре управления. Статья также предостерегает от того, чтобы полагаться исключительно на разнообразие моделей или другие модели ИИ для мониторинга, предлагая многоуровневую систему защиты. В конечном итоге, будущее корпоративного ИИ заключается в операционной среде с явными идентификаторами, гранулированными разрешениями и исполняемыми политиками, где модели служат когнитивными сервисами, а не суверенными сущностями.
CdXz5zHNQW_B5ysAi1uCj.jpeg