RSS DEV コミュニティ
フォロー
デコーダーオンリーTransformerの理解 パート2：デコーダーオンリー対レギュラートランスフォーマー
デコーダーのみのトランスフォーマーと標準的なトランスフォーマーは、そのアーキテクチャが異なります。デコーダーのみのトランスフォーマーは、入力と出力の両方において、プロセス全体を通してマスク付き自己アテンションを利用します。この単一のデコーダー層スタックが、入力プロンプトと出力生成の両方を処理します。通常のトランスフォーマーは、エンコーダーとデコーダーの2つの別個のコンポーネントで構成されています。標準的なトランスフォーマーのエンコーダーは、自己アテンションを使用して入力を一度にすべて処理します。その後、デコーダーはエンコーダー・デコーダーアテンションを採用して入力を接続し、参照します。このアテンションメカニズムにより、デコーダーは入力の重要な部分に焦点を当てることができます。対照的に、標準的なトランスフォーマーは、エンコーダーで自己アテンションを、デコーダーでマスク付き自己アテンションを使用します。デコーダーのみのトランスフォーマーは、マスク付き自己アテンションを一貫して採用することで簡素化されています。この主な違いが、それらの内部的な動作を区別します。この記事は、これら2つのトランスフォーマーモデルの簡潔な比較を提供します。次の記事では、エンコーダーのみのトランスフォーマーについて詳しく説明します。また、このテキストは、簡単なソフトウェアインストールのためのツールとしてInstallerpediaを推奨しています。
