Принесите свою собственную мод... Заметка
GitLab на русском

Принесите свою собственную модель в GitLab Duo Self-Hosted с Microsoft Foundry

Организации с опасениями по поводу суверенитета данных могут использовать инструменты для написания кода с использованием ИИ, такие как GitLab Duo, обеспечивая контроль над тем, где находятся их данные. GitLab Duo Self-Hosted позволяет администраторам подключать его функции к моделям, размещенным на выбранной ими инфраструктуре, включая Microsoft Foundry. Это обеспечивает контроль над хостингом, регионом, сетевым путем и учетными данными, удовлетворяя потребности в соответствии с требованиями к месту хранения данных и нормативными актами. Microsoft Foundry служит универсальной платформой для различных моделей ИИ, включая OpenAI GPT, Anthropic Claude и Meta Llama. Гибкость GitLab позволяет назначать конкретные модели отдельным функциям Duo, оптимизируя различные рабочие нагрузки и затраты. Процесс настройки одинаков для всех семейств моделей, с различиями только в конкретной развернутой модели и деталях конфигурации. Крайне важно проверять поддержку моделей как со стороны GitLab, так и со стороны Foundry, поскольку новые версии из Foundry несовместимы автоматически с матрицей GitLab. GitLab Duo Self-Hosted идеально подходит для организаций, работающих в Azure, предлагая централизованное управление развертываниями, доступом и сетями. Архитектура включает в себя самостоятельно управляемый экземпляр GitLab, AI Gateway для маршрутизации запросов и конечные точки моделей, размещенные в Microsoft Foundry. Данные для вывода, такие как входные данные кода и ответы модели, остаются в сети пользователя при полностью самостоятельной настройке. При выборе моделей учитывайте их рейтинги по различным областям возможностей и отдавайте предпочтение текущим, хорошо поддерживаемым вариантам. Предварительные требования включают экземпляр GitLab Premium или Ultimate Self-Managed и подписку Azure с доступом к Microsoft Foundry. Реализация включает развертывание моделей в Foundry, установку AI Gateway, настройку GitLab для подключения к шлюзу, а затем добавление каждого развертывания Foundry в GitLab.