Google Online Security Blog на русском
Подписаться
Укрощение дикого запада МО: практическое подписание моделей с Sigstore
Команда Google по безопасности открытого исходного кода, в сотрудничестве с NVIDIA и HiddenLayer, выпустила первую стабильную версию библиотеки подписи моделей в рамках Фонда безопасности открытого исходного кода. Эта библиотека позволяет пользователям проверять, что модель, используемая приложением, является той же, которую создали разработчики, используя цифровые подписи, такие как Sigstore. Быстрое развитие больших языковых моделей (LLM) открыло дверь к новым угрозам безопасности, включая отравление моделей и данных, инъекцию и избегание запросов. Процесс цепочки поставок машинного обучения (ML) уязвим для несанкционированного доступа, поскольку модели представляют собой неинспектируемый набор весов, которые могут быть изменены злоумышленниками. Чтобы достичь доверия к моделям, пользователям необходимо проверить их целостность и происхождение, что можно сделать с помощью криптографической подписи. Процесс цепочки поставок ML включает три этапа: обучение, дообучение и интеграция в приложение, каждый из которых обрабатывается разными командами или компаниями, создавая возможности для несанкционированного доступа. Подпись модели может предотвратить несанкционированный доступ, проверяя целостность модели на каждом этапе. Выпущенная библиотека подписи модели представляет собой пакет Python, поддерживающий Sigstore и традиционные методы подписи, и может обрабатывать масштаб ML-моделей. Целью является расширение подписи модели для включения наборов данных и других артефактов, связанных с ML, и создание метаданных, защищенных от несанкционированного доступа, которые могут автоматизировать реагирование на инциденты. Проект направлен на создание экосистемы доверия для ML и приглашает сообщество открытого исходного кода присоединиться и формировать его будущее.