Google Developers Blog на русском
Подписаться
Запуск Ray на TPU, Часть 2: Библиотеки Ray AI
Этот второй выпуск посвящен тому, как высокоуровневые библиотеки Ray — Serve, Data и Train — абстрагируют сложности запуска рабочих нагрузок ИИ на срезах TPU Google. Ray Serve использует простую конфигурацию топологии для правильного пакетного планирования больших многохостовых моделей, в то время как Ray Data устраняет узкие места при загрузке данных, напрямую подавая ускорители с нативными пакетами JAX. Наконец, JaxTrainer упрощает распределенное обучение на TPU, автоматически обрабатывая межсрезовую координацию, контрольные точки и отказоустойчивость.