长上下文能力取决于模型能否找到并正确使用相关证据

上下文窗口给出模型一次能够接收的最大序列范围，但容量不等于利用能力。一个模型可以接收很长的文档，却在关键证据位于中部、周围存在相似干扰或需要跨段组合时失去准确性。评价长上下文系统，必须把“放得进去”“找得到”和“用得对”分开。

位置会影响证据利用

Transformer 通过注意力在序列位置间传递信息，理论上能够建立远距离联系，实际效果仍受训练长度、位置表示、注意力实现和任务分布影响。输入变长后，相关信息只占全部 token 的很小比例，模型需要在大量无关或近似内容中分配注意。

《Lost in the Middle》在多文档问答和键值检索上控制相关证据的位置，发现多种长上下文模型在证据位于开头或结尾时表现较好，位于中间时可能明显下降。这个结论来自特定模型和任务，不能机械推成所有模型都呈同一曲线，但它证明最大窗口长度不能替代位置敏感性测试。

业务测试应把同一证据放到不同位置，并改变文档总长、干扰数量和相似程度。若只把答案放在末尾，结果会掩盖中部访问困难。测试还应包括“没有答案”的样本，避免模型只要找到相关词就强行作答。

直接把全部资料塞入窗口，保留了潜在上下文，却增加成本、延迟和干扰。检索增强先从语料中选出较小证据集，再交给模型处理，可以提高证据密度，但会引入召回错误。检索没找到的事实，生成阶段通常无法可靠恢复。

分块决定检索单位。块太短会切断定义、条件和例外，块太长又会稀释主题。重叠可以缓解边界问题，但会造成重复证据和排名偏置。应依据文档结构、任务跨度和引用粒度选择分块，并保留标题、章节、版本和权限元数据。

长窗口与检索可以组合：先召回文档，再在较长上下文中保留相邻段落和跨文档证据。组合设计仍需测量召回率、排序质量、最终答案和引用一致性，不能只看端到端正确率后猜测失败发生在哪一层。

真实知识库中常有旧版本、重复页面和相互冲突的陈述。模型可能追随最近位置、措辞更强或重复次数更多的内容，而不是权威版本。进入上下文前应按来源、版本、生效时间和权限去重；无法消解的冲突要保留来源并要求输出差异，而不是合并成一个确定答案。

提示中还可能包含与问题关键词相似但结论不同的材料。评价集应加入困难负例，例如同一产品的旧版本、同名对象和适用地区不同的规定。仅用随机无关段落作为干扰，无法反映实际检索风险。

恶意或无意的指令文本也可能混在文档中。外部资料应作为证据数据隔离，不能取得系统指令优先级。引用中的命令、网页提示和代码注释都不应改变任务边界。权限过滤必须在检索前执行，不能依赖模型读到以后自行保密。

有些问题可以由单段回答，有些需要跨章节组合条件。多跳任务应检查模型是否真的使用全部必要证据。可以设计缺一项就无法完成的样本，并比较删除某段后的输出变化。若移除关键证据仍得到相同确定结论，模型可能依赖记忆或猜测。

引用能提高可检查性，但引用位置正确不代表陈述得到支持。评价应逐条核对结论与引用片段，区分直接支持、部分支持和不支持。对于数字、版本和限制条件，输出应携带文档标识与有效日期。

摘要会压缩上下文，但也可能删除例外、单位和否定。分层摘要适合导航，不应自动取代原文证据。高风险结论应回到原始段落，摘要生成器和回答模型若共享同一偏差，还可能形成表面一致的错误。

评价至少要覆盖输入长度、证据位置、证据数量、干扰相似度、冲突版本和无答案情形。指标可以分成检索命中、答案正确、引用支持、拒答适当性、延迟和 token 成本。平均分之外还要报告最差区间，因为生产请求通常不会均匀分布。

合成长文本便于控制变量，但不能代替真实文档测试。合同、技术规范、代码库和会议记录有各自结构。应使用经过授权的真实样本建立领域集，并按文档版本冻结。模型或检索配置更新后重复整套测试，避免只验证新增的成功案例。

线上监控可记录被选证据、位置、总长度、引用和用户反馈，但应避免保存不必要的敏感正文。失败分析要区分窗口截断、检索漏召回、排名错误、推理错误和输出解析错误，才能选择有效修复。

更长窗口可能减少分块边界，却增加费用和响应时间；更激进检索降低输入量，却可能漏掉长尾证据。合理设计从任务所需证据跨度出发，为不同请求选择全文、章节检索或混合策略，并设置长度预算和退化路径。

长上下文能力最终是一个系统属性，包含模型、位置编码、检索、分块、权限、提示和评价。采购或选型时只比较标称 token 上限，会忽略真正决定可靠性的证据利用曲线。

Liu 等：Lost in the Middle: How Language Models Use Long Contexts，https://aclanthology.org/2024.tacl-1.9/
Vaswani 等：Attention Is All You Need，https://arxiv.org/abs/1706.03762