解码策略在确定性与文本多样性之间取舍

生成式语言模型在每一步给出下一个标记的条件概率分布，解码策略决定从这个分布选择什么。模型权重和提示完全相同，只要选择规则不同，输出就可能从机械重复变成多样但不稳定。解码不是训练后的无关参数，而是生成系统的一部分。

没有一种策略在所有任务上最佳。结构化抽取需要稳定和约束，创意候选需要多样，事实问答则不能靠随机性弥补证据不足。配置必须围绕任务错误成本评价。

贪心解码每步选择局部最高概率

贪心策略总选当前概率最大的标记，实现简单、速度稳定、重复运行通常一致。局部最优不保证整段序列概率最高，早期选择也可能把后续带入质量较差的路径。

确定性有利于测试和缓存，却可能放大模型最常见的模板。长文本中容易出现重复句式、过早结束或缺少备选思路。若应用需要多个候选，重复运行贪心不会带来真正多样性。

即使温度设为零，硬件并行、数值精度和服务端实现也可能影响极小概率差的决胜。需要严格复现时，还要固定模型、分词器、运行库和输入序列化。

束搜索在每一步保留若干累计分数较高的序列，扩大对全局高概率结果的搜索。它常用于翻译等输出约束较强的任务，但束宽增加会提高计算和内存，也会让候选趋同。

序列概率是逐标记对数概率之和，天然偏向短输出。长度惩罚、最小长度和覆盖约束可改变排序，但每个修正都引入任务假设。参数在一个数据集上有效，不代表迁移后仍合适。

高概率文本也可能过于通用。神经文本退化研究指出，最大化似然的搜索结果可能与人类文本分布不同，出现平淡或重复。训练目标适合估计分布，不意味着一直选择分布峰值就是最佳生成方式。

温度在归一化前缩放 logits。低温放大高分标记差异，使选择更集中；高温拉平分布，提高低概率标记被采样的机会。温度不会增加模型不知道的信息，只改变已有概率的相对权重。

过低温度接近贪心，可能重复；过高会进入概率尾部，增加语法错误和无关内容。不同步骤和上下文的分布形状不同，同一个温度并不产生固定程度的随机性。

温度应与 top-k 或 top-p 等截断共同记录。只写“温度 0.7”不足以复现，还需要随机种子、候选过滤顺序和停止规则。

top-k 每步只保留概率最高的固定 k 个标记，再重新归一化采样。它限制异常尾部，但分布有时很集中、有时很平坦，固定 k 无法适应这种变化。

nucleus sampling 选择累计概率至少达到阈值 p 的最小候选集合。分布集中时集合较小，分散时自动扩大。它在多样性与尾部风险之间提供动态边界，但 p 仍需按任务选择。

截断后重新归一化会改变原始概率。输出分数若用于置信度解释，必须说明经过何种过滤；采样到的标记概率也不能直接当作整段答案正确率。

生成系统常对已出现标记施加重复惩罚，限制 n-gram，或禁止特定标记。它们能缓解循环，却可能误伤代码变量、引用、表格和本来需要重复的术语。

硬禁用适合明确协议或安全字符约束，但词片级屏蔽可能被不同分词绕过，也可能阻止无害词。内容安全不能只靠解码黑名单，应在输入、模型、输出和权限多层控制。

结构化输出更适合基于语法或 schema 的约束解码，让每一步只允许仍可完成合法结构的标记。即便 JSON 语法有效，字段值的事实和业务约束仍需后验验证。

模型可以生成结束标记，服务也可按最大标记数、停止字符串或时间终止。结束标记过早会截断答案，最大长度过小会留下无效结构，过大则增加成本和跑题机会。

停止字符串在流式输出中可能跨标记边界，需要缓冲匹配。用户输入若能改变停止规则，还可能造成截断或注入问题。协议层结束与自然语言中的同名文本应区分。

长度上限属于资源边界，不应伪装成内容完整性。响应被截断时应有明确状态，调用方不能把最后一个可见字符当作正常完成。

一次生成多个候选可以提高覆盖，但若共享相同前缀缓存、随机种子或束，候选可能高度相似。应测量候选间差异，而不是只统计数量。

重排序器可按任务质量、事实证据或安全规则选择结果，但它本身又引入模型和偏差。候选生成与选择的评价要分开，避免只看最终结果而无法定位问题。

对高风险任务，多候选不等于多数正确。共同训练数据会产生相关错误，需要外部资料或人工审核，而不是简单投票。

生成评价应同时检查任务成功、事实性、重复、多样、长度、延迟和成本。创作任务可做人类偏好与去重，抽取任务则看 schema 有效率和字段准确率。平均文本相似指标不能覆盖所有失效方式。

线上实验要控制提示、模型和数据变化，只调整解码参数才能归因。保存随机种子有助于复现单个案例，但大规模随机策略应报告多次运行分布和置信区间。

解码策略把概率模型转化为实际文本。它能控制搜索与随机性的表现，却不能修复训练数据错误或验证事实。把候选过滤、停止、复现和任务评价作为完整契约，才能让生成行为稳定可管。

Original authors：The Curious Case of Neural Text Degeneration，https://arxiv.org/abs/1904.09751
Original authors：Attention Is All You Need，https://arxiv.org/abs/1706.03762