Обучите модель GPT-2 с помощью JAX на TPU бесплатно

Создайте и обучите модель GPT-2 с нуля, используя JAX на Google TPU. Полный Python-ноутбук для бесплатного Colab или Kaggle. Узнайте, как определить аппаратную сетку, разбить параметры модели и входные данные для параллелизма данных, а также оптимизировать процесс обучения модели.