コミュニティがTunixとTPUでGemmaに「思考」を訓練した方法
Kaggleで開催されたGoogle Tunix Hackathonは、開発者に対し、Kaggle TPUと限られたコンピューティング予算を使用して、小規模で推論能力のないベースモデルを汎用的な推論エンジンに変革することを課題としました。優勝チームは、Supervised Fine-Tuning（SFT）とGRPOやSimPOのような高度なアライメント技術を組み合わせたマルチステージのポストトレーニングパイプラインを実装することで、これを達成しました。最終的に、このコンペティションは、アクセス可能でオープンソースのリソースを使用して、コミュニティが高度な構造化推論モデルを成功裏にトレーニングできることを証明し、AI開発を民主化しました。
