Google Cloud Blog на русском
Подписаться
Интеграция песочниц gVisor в распределенные кластеры Ray
Рабочие процессы обучения с подкреплением все чаще используют Ray в качестве унифицированной среды выполнения вычислений. Однако оркестрация безопасных, изолированных песочниц в масштабе для динамических развертываний и сложных взаимодействий стала узким местом. Для решения этой проблемы была представлена экспериментальная библиотека для Ray, интегрирующая нативную, высокопроизводительную песочницу непосредственно в распределенные кластеры Ray. Эта новая библиотека представляет песочницы как Ray Actors, позволяя управлять ими как другими ресурсами Ray. Планировщик Ray обрабатывает размещение и распределение ресурсов для этих песочниц-акторов. Каждый актор-песочница затем использует gVisor для изолированного выполнения на своем назначенном узле. Авторы фреймворков и исследователи теперь могут управлять этими песочницами, используя существующие API и шаблоны Ray. API песочницы предоставляет функциональные возможности для создания, настройки и выполнения команд в этих средах. Он также поддерживает файловые операции и проверку состояния. Для более продвинутых сценариев использования SandboxRuntime предлагает прямой доступ к локальным песочницам gVisor, позволяя настраивать их перед выполнением. Выбор gVisor обеспечивает надежную границу изоляции между рабочими нагрузками и ядром хоста. Эти песочницы легкие, обеспечивают время запуска менее секунды и низкое потребление памяти, что делает их подходящими для динамических агентских рабочих нагрузок. Будущие версии Ray планируют расширить поддержку других сред выполнения песочниц. Пользователи могут попробовать песочницы Ray на Google Kubernetes Engine и оставить отзыв на GitHub.