Запуск частной большой языковой модели (LLM) требует понимания различных определений конфиденциальности и затрат на оборудование. Физическая конфиденциальность означает, что запросы никогда не покидают ваш контролируемый компьютер, в то время как контрактная конфиденциальность зависит от соглашений с поставщиком. Техническая конфиденциальность использует оборудование, которое шифрует данные, не позволяя операторам видеть запросы.Вариант первый, локальная LLM на вашем собственном оборудовании, обеспечивает наивысшую физическую конфиденциальность. Однако он влечет за собой значительные первоначальные затраты на мощные графические процессоры, ограниченную одновременность и потенциальное устаревание. Эта установка идеально подходит для одного пользователя с постоянной рабочей нагрузкой, но требует постоянного времени на обслуживание.Вариант второй включает облачных провайдеров с гарантиями контрактной конфиденциальности. Крупные облачные сервисы предлагают корпоративные контракты, которые запрещают использование запросов для обучения и позволяют настраивать нулевое хранение данных. Этот подход подходит для крупных организаций, нуждающихся в соглашениях об уровне обслуживания и установленных юридических средствах правовой защиты.Вариант третий, частный шлюз LLM, предлагает баланс между локальным и облачным решением. Эти шлюзы используют доверенные среды выполнения (TEE) для конфиденциальности на аппаратном уровне. Они предлагают ценообразование по принципу "оплата за использование" без первоначальных затрат и позволяют проверять конфиденциальность данных на аппаратном уровне.Шлюзы могут запускать конфиденциальные модели локально или перенаправлять их на передовые модели, хотя последние все еще могут быть видны первоначальным поставщикам. Основной проблемой остается частная память в общих агентах, где данные одного пользователя могут быть доступны другим. Исследования показывают значительные нарушения конфиденциальности в многопользовательских системах, даже с частными LLM.Чтобы снизить риски, связанные с общей памятью, ограничивайте память для каждого пользователя, обеспечивайте доступ на уровне хранения и удаляйте конфиденциальные данные перед их сохранением. Относитесь ко всей общей памяти как к потенциально общедоступной. Самый дешевый вариант зависит от объема; конфиденциальные уровни экономичны при низком использовании, в то время как собственное оборудование может быть дешевле при большом, стабильном объеме после амортизации.В конечном итоге выбор зависит от индивидуальных потребностей: локальное решение для одиночных пользователей, облачное для предприятий, нуждающихся в SLA, и шлюзы для команд, которые отдают приоритет проверяемой конфиденциальности. Независимо от выбранного пути, решайте проблемы общей памяти перед включением многопользовательского доступа.