解码策略与输出控制 笔记

解码策略与输出控制

本章分为九个部分,分别是:• 从模型读取 Logits • 贪婪解码 • 温度采样 • Top-$k$ 采样 • 核采样(Nucleus Sampling)• 重复惩罚 • 束搜索(Beam Search)• 停止条件 • 结构化输出约束。模型为输入序列中的每个位置返回一个 logits 向量。
CdXz5zHNQW_XYpU9K0kt5.jpeg