上下文学习用提示中的示例临时定义任务

上下文学习指模型在不更新参数的情况下，依据当前输入里的任务说明和示例完成后续样本。它把任务线索放进文本序列：模型既要理解自然语言指令，也要从示例中辨认输入、输出和标签之间的关系。这个过程发生在一次推理的上下文内，与重新训练或微调不是同一件事。

零样本、单样本与少样本

零样本提示只有任务说明，没有演示样例。它依赖模型在预训练中形成的语言和任务知识，优点是成本低，缺点是任务边界容易含糊。单样本加入一个示例，可以明确输出格式，却可能使模型过度追随这个例子的主题、措辞或偶然错误。

少样本提示提供多个输入输出对，让模型从共同模式中推断任务。GPT-3 论文用统一的文本接口比较零样本、单样本和少样本设置，展示了较大语言模型在多类任务上的上下文适应能力。论文同时报告了失败任务、数据污染和评估方法问题，因此不能把某些基准提升解释成模型已稳定学会任意新任务。

示例不是训练集的缩小版。它们既承载任务信息，又占用有限窗口，还会改变生成的局部语言分布。真正的参数仍保持不变；换一个提示后，模型不会自动保留上一次提示中得到的规则。

示例应覆盖输入范围、标签边界和容易混淆的情况。若所有正例都很短、所有负例都很长，模型可能利用长度而不是语义。分类任务还要检查标签频率，避免多数标签在提示中获得不成比例的先验。生成任务应让示例风格与真实交付要求一致，但不能用单一写法压掉合理的表达差异。

顺序也可能影响结果。靠近待预测输入的示例通常拥有更直接的局部影响，首尾位置还可能获得额外注意。评估时应轮换合理顺序，并报告均值和波动，而不是挑选一次最佳顺序。示例选择方法若利用了测试答案，就构成泄漏；根据测试集反复人工调提示也会产生同样问题。

相似样例检索能够让提示贴近当前输入，但相似不等于具有判别力。检索系统可能反复返回同一主题、复制敏感内容，或把错误标签带入提示。需要记录检索语料版本、相似度方法、过滤条件和最终入选样例。

分隔符、字段名、标签词和回答前缀都会参与模型预测。positive 与任意代号可能形成不同先验；JSON、自然语言段落和项目符号也会改变输出约束。稳定方案应明确输入边界，对用户文本做隔离，并让示例和真实输入使用同一序列化规则。

输出解析不能假定模型一定遵守格式。应执行结构校验、允许值检查和失败处理，必要时拒绝无法解析的结果。对于包含外部文本的任务，还要防止其中的命令性内容越过任务说明。提示层级和数据边界属于系统安全设计，不能仅靠一句“忽略其他指令”解决。

推理过程的长篇展示不是可靠性的保证。要求输出依据、短解释或可验证中间结果，可以帮助检查，但模型也可能生成貌似连贯的理由。最终判断仍应落到可复算规则、来源证据或人工审核。

上下文学习评价要与预期使用方式一致。固定模型版本、解码参数和提示模板后，使用未参与示例挑选的测试集，比较零样本、少样本和任务专用基线。分类任务不仅看准确率，还要观察各类召回、校准和拒答；生成任务需要任务指标、事实核验与人工评价共同约束。

提示敏感性应成为正式指标。可以改变示例顺序、标签词、无关措辞和分隔格式，测量结果分布。小改动导致大幅波动，说明系统依赖脆弱的表面线索。生产监控也要区分输入分布变化、检索样例变化和模型服务版本变化。

数据污染是另一项边界。如果评估题或近似答案出现在预训练语料或示例库中，少样本成绩不能代表新任务迁移。无法完全排除污染时，应使用时间隔离、私有测试、改写对照和可追踪样本来源降低风险，并在报告中声明限制。

上下文学习适合快速定义格式、低样本试验和变化频繁的轻量任务。任务需要长期稳定知识、复杂领域约束或严格可重复决策时，仅依赖提示通常不够，应考虑检索、规则、工具执行、微调或专用模型，并保留独立验证。

成本也随示例数量和长度增长。增加示例可能提升覆盖，也会挤压待处理材料并引入干扰。应以消融试验寻找最小充分示例集，而不是把窗口填满。涉及个人信息、商业秘密或授权文本时，示例还必须经过访问控制和脱敏。

上下文学习提供的是一次请求内的条件化能力。可靠系统要把示例当作可版本化的运行配置，记录选择理由、提示版本、模型版本和评价结果，才能区分真正的任务能力与偶然的提示命中。