Конфиденциальный ИИ для самост... Заметка
GitLab на русском

Конфиденциальный ИИ для самостоятельного размещения GitLab

Регулируемые организации сталкиваются с дилеммой в отношении ИИ-агентов для написания кода, поскольку их проприетарный исходный код не может быть отправлен сторонним ИИ-сервисам из-за строгих политик соответствия и защиты интеллектуальной собственности. Запуск ИИ-моделей внутри компании требует значительных инвестиций в дефицитное оборудование и специализированный персонал, при этом все еще отставая от передовых моделей. Это приводит к тому, что команды, использующие ИИ, отстают от конкурентов. GitLab Duo Self-Hosted теперь предлагает решение, интегрируясь с Privatemode AI, который использует оборудование для конфиденциальных вычислений. Это гарантирует, что запросы и исходный код остаются зашифрованными сквозным образом, даже во время инференса, поскольку они никогда не покидают безопасную зашифрованную границу. Конфиденциальные вычисления Privatemode используют аппаратные доверенные среды выполнения (TEE) и удаленную аттестацию для криптографического подтверждения целостности выполнения ИИ-модели. Такой архитектурный подход обеспечивает более надежную гарантию, чем договорные соглашения, поскольку даже оператор сервиса не может получить доступ к данным в открытом виде. Интеграция позволяет разработчикам использовать расширенные функции ИИ, такие как проверка кода и генерация тестов, без ущерба для безопасности данных или нарушения таких правил, как GDPR, NIS2 и DORA. Хотя это решение требует эксплуатации AI Gateway и прокси-сервера Privatemode, оно позволяет избежать огромного бремени управления кластерами GPU и операциями LLM. Конфиденциальные вычисления сужают предположение о доверии до самого оборудования, предлагая практический путь для регулируемых отраслей к безопасному и эффективному внедрению современных инструментов ИИ для написания кода.