Владейте своим ИИ: Локально ра... Заметка
RSS GitLab

Владейте своим ИИ: Локально развернутые модели GitLab Duo с AWS Bedrock

GitLab Duo Self-Hosted позволяет организациям использовать ИИ в разработке программного обеспечения, сохраняя при этом контроль над данными. Это решение интегрирует GitLab с моделями ИИ, размещенными на таких платформах, как AWS Bedrock, гарантируя, что данные остаются в инфраструктуре организации. Ключевые преимущества включают полную конфиденциальность данных, гибкость моделей и соблюдение нормативных требований для регулируемых отраслей. Архитектура включает локально развернутый экземпляр GitLab, AI Gateway для маршрутизации запросов и бэкенд LLM. Для внедрения организациям требуется экземпляр GitLab Premium или Ultimate с лицензией на надстройку Duo Enterprise и учетными данными AWS. Процесс начинается с установки AI Gateway, за которым следует настройка GitLab для подключения к нему. Затем пользователи получают доступ к желаемым моделям на AWS Bedrock и настраивают конкретную локально развернутую модель в GitLab. Наконец, функции с поддержкой ИИ, такие как предложения кода и GitLab Duo Chat, назначаются настроенным локально развернутым моделям. Проверка включает выполнение проверок работоспособности, тестирование функций и просмотр журналов AI Gateway. Хотя руководство фокусируется на AWS Bedrock, GitLab Duo Self-Hosted также поддерживает локальные развертывания с vLLM и Azure OpenAI Service. Такой подход обеспечивает баланс между инновациями в области ИИ и надежной безопасностью данных.