理解仅解码器 Transformer 第二部分：仅解码器与常规 Transformer 的对比

Decoder-only 模型与标准 Transformer 在架构上存在差异。Decoder-only Transformer 在整个过程中均使用掩码自注意力机制，涵盖输入与输出。单一的 Decoder 层堆栈同时处理输入提示和输出生成。标准 Transformer 则由两个独立组件构成：编码器和解码器。标准 Transformer 中的编码器利用自注意力机制一次性处理整个输入；解码器则采用编码器 - 解码器注意力机制，以建立并引用输入信息。该注意力机制使解码器能够聚焦于输入中的关键部分。相比之下，标准 Transformer 在编码器中使用自注意力，在解码器中使用掩码自注意力。Decoder-only Transformer 通过一致地采用掩码自注意力机制实现了简化。这一关键差异区分了它们的内部工作机制。本文对这两种 Transformer 模型进行了简洁对比。下一篇文章将深入探讨 Encoder-only Transformer。本文还推广了 Installerpedia 作为便捷软件安装工具。