Корпоративные среды внедряют распределенные архитектуры для рабочих нагрузок ИИ, требующих больших контекстных окон. По мере их масштабирования KV-кэши превышают пределы локальной ОЗУ ЦП и SSD. В то время как объединение локальных SSD предлагает емкость, оно добавляет сложность в распределение и репликацию данных. Альтернативой является выгрузка состояний внимания на высокопроизводительную внешнюю параллельную файловую систему, такую как Google Cloud Managed Lustre. Этот подход обходит ограничения емкости хоста и позволяет избежать накладных расходов на сеть, связанных с объединенными дисками. Google Cloud Managed Lustre демонстрирует экономию совокупной стоимости владения (TCO) и сокращение потребности в GPU-часах для инференса больших языковых моделей. Решение может быть расширено выгрузкой в ОЗУ ЦП для дальнейшего повышения производительности. Ключевые архитектурные компоненты включают GPU-узлы GKE и Managed Lustre, выступающие в качестве децентрализованного кэша. PVC Evictor управляет хранилищем, удаляя наименее недавно использованные фрагменты кэша. Развертывание включает создание кластера GKE, предоставление хранилища Lustre, развертывание движка обслуживания vLLM с интеграцией Lustre и, наконец, развертывание PVC Evictor. Правильная настройка проекта Google Cloud, включая квоты и разрешения IAM, имеет важное значение перед развертыванием.