语言模型估计标记序列的条件概率

语言模型为标记序列分配概率。它可以评价一个序列在训练分布下是否常见，也可以根据已有上下文预测下一标记并逐步生成文本。模型学习的是数据中的统计结构，不是一个自动保证事实、逻辑和价值判断正确的知识库。

链式分解把序列概率变成逐步预测

概率链式法则可以把整个序列的联合概率分解为一系列条件概率：每个标记在此前标记条件下的概率相乘。自回归语言模型直接学习这些下一标记分布。

分词决定概率分解的基本单位。一个词可能是一个标记，也可能拆成多个子词；不同词表下序列长度和概率数值不可直接比较。特殊起止标记也属于模型约定。

上下文窗口限制模型在一次预测中能直接使用的历史。窗口之外的信息若未被摘要或外部检索重新带入，就不在当前条件中。长窗口也不保证模型能同等利用所有位置。

训练用已知前缀预测真实后续

训练时通常把真实序列右移，让模型在每个位置根据真实前缀预测下一个标记，并最小化负对数似然或交叉熵。这种方式可以并行计算多个位置的损失。

训练阶段看到的前缀来自数据，生成阶段的前缀逐渐包含模型自己的输出。早期错误会改变后续条件，形成训练与生成之间的暴露差异。它是自回归生成的结构性质，不会仅靠降低训练损失完全消失。

训练语料的重复、偏差、时间范围和质量会进入概率分布。高频表述容易得到较高概率，稀有但正确的事实可能较低。似然目标没有自动区分真伪或社会影响。

困惑度评价标记预测而非完整质量

困惑度由平均负对数似然变换得到，可理解为模型对真实下一个标记的不确定程度。相同分词、数据和计算方式下，较低困惑度通常表示更好的序列概率预测。

不同词表会改变标记数量和概率分解，因此困惑度不能跨任意分词器直接比较。数据预处理、是否包含结束标记和长度归约也会影响数值。

较低困惑度不保证生成文本事实更准确、无害或更符合任务。摘要、问答和代码仍需要任务指标、人工评审与安全测试。

解码把概率分布变成具体文本

贪心解码每步选概率最高的标记，计算简单，但局部最高不保证整个序列最好，也容易形成重复。束搜索保留多个候选前缀，适合某些有明确输出结构的任务，却可能偏向通用或短序列。

随机采样按概率抽取标记，可以增加多样性。温度改变分布尖锐程度，top-k 或 nucleus 采样限制候选集合。参数改变的是输出选择策略，不会修改模型已经学到的事实分布。

随机性较低也不等于更真实，只是更倾向高概率表达。对需要确定性的任务，应固定版本和解码设置；对开放生成，则要评估多次样本的稳定性。

条件概率会利用上下文中的模式

提示、示例和检索文档会进入条件上下文，改变后续标记概率。模型可能沿用格式、术语和局部事实，也可能忽略、混合或错误解释内容。上下文提供证据不等于输出受证据约束。

指令与资料之间可能冲突，外部文本还可能包含恶意指令。系统需要区分控制信息和不可信内容，并在输出后验证引用与关键事实。

上下文长度增加会提高计算和缓存成本。重复、无关或相互矛盾的材料可能降低有效信号，资料选择与组织是独立工程问题。

概率不是事实置信度

某段文字获得高序列概率，说明它符合模型在当前上下文下学到的语言模式。流行错误、陈旧信息和惯用套话也可能高概率；罕见正确答案可能低概率。

模型生成的数字或引用看起来流畅，不代表有对应来源。需要事实保障的场景应连接可核验数据、执行工具或检索证据，并对最终陈述做验证。

标记概率也不能直接当作整段答案正确概率。各步条件相关，解码筛选改变输出分布，模型还可能在错误内容上表现得十分确定。

语言模型是组件而非完整应用

真实系统还包括提示构造、上下文管理、检索、工具、权限、安全策略和评估。相同基础模型在不同外围设计下会产生不同风险和能力。

版本升级、词表改变和解码实现都会影响输出。可复现记录应包含模型版本、上下文、采样参数和工具结果，而不只保存最终文本。

语言模型的核心任务是估计序列条件概率。理解这一点可以解释训练、困惑度和生成，也能划清边界：概率建模提供语言能力，但事实可靠性、业务正确性和安全约束必须由完整系统另外建立。

评估也应与使用方式一致。补全任务、问答、摘要和工具调用对错误的容忍度不同，单一困惑度无法覆盖这些目标。离线指标需要配合代表性任务集、人工判定标准和上线后的失败监测，才能说明模型组件是否适合具体系统。

任务边界改变时，原有评估结论也应重新确认。

资料依据

• Russell、Norvig：Artificial Intelligence: A Modern Approach，https://aima.cs.berkeley.edu/
• Vaswani 等：Attention Is All You Need，https://arxiv.org/abs/1706.03762