DiffusionGemma: 開発者ガイド
DiffusionGemmaは、Gemma 4アーキテクチャ上に構築された実験的なテキスト生成モデルであり、トークンごとの自己回帰ではなく拡散ベースの並列生成を使用しています。これにより、推論速度が大幅に向上し、双方向のコンテキスト認識とリアルタイムの自己修正が可能になり、コンシューマーGPUでのデプロイも可能になります。そのアーキテクチャは、反復的なノイズ除去を通じて256トークンのブロックを並列に生成および洗練するため、従来の言語モデルよりもSudokuのような複雑な制約ベースのタスクをより効果的に処理でき、ファインチューニングからの大幅な改善を示しています。このモデルはvLLMおよびその他の一般的な推論フレームワークと統合されており、開発者は高いパフォーマンス、効率的な長文コンテキストスケーリング、および簡単なカスタマイズとデプロイメントを組み合わせた新しい非自己回帰アプローチにアクセスできます。
