预训练目标决定语言表示能看到哪些上下文

语言模型预训练从大规模文本中构造学习信号，不必为每个样本人工标注。训练目标规定模型在已知什么信息的条件下预测什么，也就决定了表示偏向生成、理解还是重建。相同 Transformer 组件采用不同可见性掩码和预测目标，会形成不同的能力与局限。

预训练损失衡量的是在训练分布上完成代理任务的能力。它不直接等于事实正确、指令遵循或下游业务质量。理解目标与使用场景的差距，是选择模型和设计适配流程的起点。

自回归模型按方向预测下一个标记

自回归目标把序列概率分解为一连串条件概率。预测当前位置时，模型只能看到此前标记，不能读取未来内容。因果注意力掩码维持这一约束，使训练时的每个位置都能提供一个下一个标记预测样本。

这种目标与逐步生成天然一致。推理时模型根据已有上下文产生后续分布，再选择或采样一个标记追加到序列。但训练通常使用真实前缀，生成时前缀包含模型自己的输出；早期错误会改变后续条件，形成误差累积。

“从左到右”是相对于标记顺序而言。代码、表格和多语言文本的逻辑结构未必只沿一个方向，模型仍要从数据中学习跨行、括号和篇章关系。上下文可见并不保证长期信息会被有效利用。

掩码目标选择部分输入标记进行遮蔽或替换，让编码器根据左右两侧上下文恢复原标记。BERT 使用这种方式学习深层双向表示，并通过下游微调服务分类、抽取和问答等任务。

双向可见性适合判断一个位置在完整句子中的含义，但训练中的特殊掩码符号在普通下游文本里很少出现，形成预训练与使用之间的差异。具体遮蔽比例、连续片段或替换策略会改变模型学到的线索。

掩码模型并不是普通意义上的逐步生成器。若要生成完整文本，需要反复填空或增加解码器，过程和概率分解不同。把编码器的条件概率直接当成自回归生成概率，会混淆目标。

序列到序列预训练把输入破坏、摘要或截取后，要求解码器重建目标序列。编码器可双向读取输入，解码器按因果顺序输出，并通过交叉注意力访问编码结果。这种结构适合翻译、摘要和受输入约束的生成。

破坏方式决定任务难度。遮蔽单个标记强调局部词汇，删除连续片段要求利用较长上下文；打乱句子可能推动篇章建模，也可能让模型学习人工噪声的捷径。代理任务越复杂，不表示一定更接近所有下游任务。

输入与输出边界还提供控制点。系统可以把资料、问题和指令放在编码侧，把回答放在解码侧；但模型仍可能忽略来源或生成输入中不存在的内容，需要单独评价忠实度。

Transformer 的自注意力允许位置相互汇聚，掩码决定哪些连接存在。双向编码器中每个位置可看到整个输入；因果解码器只能看到此前位置；前缀语言模型则允许一段前缀双向交互，再因果生成后续。

掩码是结构约束，不是知识边界。模型参数会从预训练数据吸收统计规律，即使某个提示中没有明说，也可能生成训练中常见信息。对隐私和时效性问题，不能依靠注意力掩码替代数据治理。

长序列还受计算和位置表示限制。理论上可见的标记不一定在实践中被均匀关注，远距离线索可能被局部模式淹没。应通过位置变化、干扰文本和长上下文检索测试真实利用能力。

较低的预训练困惑度表示对文本分布预测更好，却不保证分类公平、答案有依据或输出满足格式。下游任务常有不同代价函数，需要微调、检索、约束解码或外部验证补齐。

预训练数据中的重复、模板和基准泄漏会让代理损失与泛化脱节。模型可能记住常见答案，而不是学会可迁移规律。数据去重、时间切分和受控测试集需要与目标设计同时考虑。

不同目标也会影响提示方式。掩码编码器通常接收完整输入并输出表示，自回归模型通过文本前缀继续生成，编码器—解码器把输入输出显式分开。接口若违背训练方式，可能浪费已有能力。

一个模型可以同时使用语言建模、对比、分类或重建目标。总损失中的权重和数据采样比例决定哪类信号主导。数据量大的简单任务可能压过数量少但重要的目标，需要按批次或梯度尺度平衡。

目标之间可能相互促进，也可能冲突。生成要求保留细节，语义分类可能鼓励忽略表面差异；多语言共享表示能促进迁移，也可能让高资源语言主导容量。不能只比较总损失，应分别查看每个任务和语言的验证表现。

训练日志需要保存目标定义、掩码策略、数据混合和版本。若只记录模型权重，后续无法解释同名架构为何行为不同，也难以重现实验或定位退化。

理解任务可以检查分类、抽取和鲁棒性，生成任务要检查连贯性、事实性、重复、停止和安全，下游专业任务还要引入领域样本。评价集必须与预训练数据隔离，并按时间和来源检查污染。

比较模型时，应区分参数量、数据、训练预算和目标差异。把某项提升全部归因于掩码或架构，会忽略更大数据与更长训练的影响。消融实验和等预算比较才有解释力。

预训练目标是模型学习问题的定义。它规定上下文可见性与预测对象，却不替代数据质量、下游适配和独立验证。只有把代理任务与最终用途之间的距离写清，预训练表示才会被正确使用。

Original authors：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，https://arxiv.org/abs/1810.04805
Original authors：Attention Is All You Need，https://arxiv.org/abs/1706.03762