注意力机制按相关性汇聚信息

序列中的每个位置并不总需要同等关注全部上下文。理解代词时，模型要寻找可能的指代对象；生成摘要时，不同输出词会依赖原文的不同片段。注意力机制为当前计算构造一个查询，再根据查询与候选信息的匹配程度分配权重，把候选内容汇聚成新的表示。它改变的是信息读取方式，不是让模型自动获得事实判断或因果推理能力。

查询、键和值分开表达匹配与内容

注意力通常把输入表示线性映射为查询、键和值。查询表示当前需要寻找什么，键用于与查询比较，值携带匹配后要取回的内容。一个候选位置是否获得高权重由查询和键的关系决定，最终输出则是对应值的加权组合。

这种分工让同一个输入位置在“能否被找到”和“找到后提供什么”两个层面拥有不同表示。键相似不意味着原始对象在所有意义上相同，只表示在当前参数和任务下容易被同一查询匹配。值也不是原文本身，而是模型学习出的向量变换。

自注意力的查询、键和值来自同一序列，因此每个位置都能读取序列中其他位置的信息。编码器和解码器之间的交叉注意力则让一侧的查询读取另一侧的键和值。二者计算形式相近，但信息来源与掩码约束不同。

Transformer 使用查询与键的点积衡量匹配。点积越大，通常表示两个向量在当前表示空间中越一致。所有候选得分经过 softmax 后成为非负且和为一的权重，再对值向量求加权和。

键维度较大时，点积的数值幅度可能随维度增长，使 softmax 落入非常尖锐、梯度较小的区域。缩放点积注意力用键维度平方根缩放得分，控制数值尺度。缩放不是概率校准，它只改善当前计算的数值性质。

softmax 会让候选相互竞争。提高一个位置的权重会影响其他位置的份额，因此权重只在同一个查询和候选集合内具有相对意义。不同层、不同头或不同长度序列的权重不能脱离上下文直接比较。

单个注意力计算只在一组查询、键和值投影中汇聚信息。多头注意力把表示投影到多组子空间，分别计算注意力，再拼接和变换各头输出。不同头有机会捕捉局部搭配、远距离依赖、位置关系或其他对训练目标有用的模式。

多头不保证每个头都形成清晰可命名的语言关系。部分头可能相似、冗余或主要承担位置传递。头数增加也不会无限提高表达能力，因为总维度、数据、训练稳定性和计算预算共同限制结果。

各头的输出仍需经过后续线性层、残差连接、归一化和前馈网络。把注意力矩阵单独拿出来，不能完整解释该层输出，更不能代表整个模型的决策过程。

注意力在计算得分时可以屏蔽不允许读取的位置。填充掩码排除为对齐批次而添加的空位置；因果掩码阻止当前位置看到未来标记，使自回归模型只能根据已出现的上下文预测下一个标记。

掩码表达的是信息可见性约束，不是普通的低权重偏好。实现中常把被屏蔽位置的得分设为极小值，使 softmax 后接近零。若掩码维度、广播方向或填充值处理错误，模型可能读取未来信息，或把填充位置当成正常上下文。

局部注意力、稀疏注意力和分块注意力也通过限制候选集合降低长序列成本。限制范围会改变模型可以直接建立的依赖，必须结合任务需要和跨块信息传递方式评估。

纯粹的点积注意力把输入看作一组向量，本身不包含先后顺序。Transformer 因此加入位置编码或相对位置机制，让模型区分相同标记出现在不同位置的情况。位置方案会影响长度外推、局部偏好和远距离关系表达。

位置与内容通常共同决定匹配。模型可能需要找到“前一个同类标记”，也可能需要寻找“语义最相关的任意位置”。不同实现把位置信息加入输入、得分或查询键变换，不能只看是否存在一个名为位置编码的向量来判断行为。

分词同样影响位置结构。一个自然语言词被拆成多个子词后，注意力面对的是标记位置而不是人工理解的词边界。对权重进行可视化时，需要先还原分词和特殊标记，否则容易误读。

长度为 n 的序列中，全连接自注意力需要考虑大约 n 乘 n 个位置配对，注意力矩阵的计算和存储会随长度快速增长。实际成本还取决于头数、维度、批量、精度和实现，不应只用一个渐进符号推断具体性能。

递归模型按时间步传播状态，注意力则允许同一层直接连接远距离位置并适合并行矩阵计算。这不代表注意力在所有序列长度和硬件上都更便宜。短序列、流式场景、受限内存或需要严格在线状态时，其他结构仍可能更合适。

缓存历史键值可以降低自回归生成时重复计算，但缓存随上下文增长并占用显存。训练阶段、一次性编码和逐标记生成的成本结构不同，评估方案必须说明场景。

注意力权重能显示一次前向计算中模型如何分配读取比例，是调试掩码、检查位置模式和分析异常的有用信号。但高权重不证明某个输入对最终输出具有因果影响，低权重也不证明信息没有通过其他层、其他头或残差路径传播。

解释模型决策还需要结合输出变化、干预实验、梯度、反事实或任务特定证据。任何单一解释方法都有假设。把颜色较深的注意力图直接称为“模型思考过程”，会把中间计算误写成认知结论。

注意力机制的核心价值，是让模型针对当前查询动态选择并组合上下文。它提供了一种可训练的信息路由方式；能否形成可靠能力，仍取决于数据、目标函数、完整网络结构和评估条件。