对比式自监督学习用增强视图定义表示中的相同与不同

自监督学习不依赖人工类别标签，而是从数据本身构造训练信号。对比式方法的核心不是“无标签分类”，而是规定哪些观测应当在表示空间中靠近，哪些应当分开。这个规定来自视图生成、样本配对和损失函数，因此模型学到什么，很大程度上由人为设计的增强不变性决定。

正样本由视图规则定义

以图像为例，同一原始样本经过随机裁剪、颜色变化、模糊或翻转后形成两个视图，通常被当作正样本对。不同原始样本形成负样本。编码器将视图映射为向量，训练目标提高正样本相似度并降低负样本相似度。SimCLR 的实验表明，增强组合、投影头和训练规模都会明显影响结果，这意味着性能不能只归因于某一个对比损失。

增强不是越强越好。如果任务需要辨认颜色，强颜色扰动可能删除目标信息；如果方向本身有意义，任意旋转会引入错误不变性。医学影像、遥感影像和文字图像对裁剪也有不同容忍度。增强设计应回答：部署时哪些变化不应改变语义，哪些变化恰好是任务需要识别的信号。

时间序列、文本和图数据也能构造多视图，但“同一对象”的定义更复杂。删除时间片、遮盖词元或扰动边可能改变事件、否定关系和拓扑含义。视图规则必须通过领域知识和下游任务验证，不能直接照搬自然图像方案。

常见目标先对表示做归一化，再计算余弦相似度。温度参数控制相似度差异在概率分布中被放大的程度：温度较低会强调最相似候选，也可能放大噪声；温度较高则使分布更平缓。训练批次中的其他样本经常被当作负样本，因此批量组成直接进入学习目标。

大批量提供更多负样本，但也增加计算、通信和内存压力。队列或记忆库可以扩大候选集合，却带来表示版本滞后。分布式训练还要确保跨设备聚合、样本 ID 和梯度处理一致，否则实际负样本数量与报告值可能不同。

投影头通常位于编码器输出和对比损失之间。下游任务使用投影头之前的表示，是因为对比目标可能要求某些信息在投影空间中被舍弃。训练结束时随意选择哪一层作为特征，会让评价不可比较；应预先说明表示层、归一化方式和是否冻结编码器。

不同原始样本不一定语义不同。数据中可能包含同一对象的重复照片、同一类别的近邻样本或连续视频帧，把它们都推远会形成伪负样本。批次越大，遇到语义相同负样本的机会也可能增加。解决方式包括去重、利用时间或对象 ID、使用多正样本目标，或采用不显式依赖负样本的方法，但每种方式都改变了学习假设。

模型还可能利用增强产生的边缘、压缩痕迹、拍摄设备或背景区分实例，而没有学到目标语义。若训练集中的同一来源只出现在固定批次或设备上，来源特征会成为捷径。抽样时应控制重复、来源和时间，检查最近邻结果是否主要按语义、背景还是采集条件聚集。

表示坍塌是另一类风险，即大量输入被映射到几乎相同的位置。带负样本的目标通过相互排斥降低这种风险，其他方法会使用停止梯度、预测器、方差约束或教师网络。仅观察训练损失不能判断表示是否坍塌，应检查各维方差、协方差、有效秩和下游表现。

线性评价在冻结编码器后训练简单分类器，用于检查表示中是否存在易于线性提取的信息。它便于比较，但只覆盖特定数据和标签。微调评价允许全部或部分参数更新，更接近实际迁移，却把优化器、学习率和数据量重新带入比较。两者都应报告多个随机种子和统一调参预算。

可靠评价还包括少样本迁移、不同域测试、检索、聚类和鲁棒性。若预训练与测试数据存在重复，即使没有标签泄漏，结果也会偏高。数据去重应同时考虑完全相同文件和近重复内容。对隐私敏感数据，还要评估表示是否保留身份或其他不应外泄的信息。

部署前需要确认预训练数据分布、增强规则和实际任务的一致性。自然图像上的表示未必适合工业缺陷、病理切片或卫星时序；总体迁移收益也可能掩盖小类退化。模型卡应记录预训练数据、视图生成、编码器、损失、批量规模、训练预算以及已验证和未验证的使用范围。

对比式自监督学习提供的是构造表示学习任务的一组机制。它减少了对人工标签的依赖，但没有消除监督：增强、配对、数据收集和评价仍在规定什么信息应被保留。

抽样检查应覆盖最近邻错配、正样本视图语义被破坏、重复样本进入负样本以及背景主导的聚类。可把同一查询在原图、改变背景和保留主体三种条件下比较，判断表示是否稳定。若下游只在一个数据集上改善，应继续检查收益来自语义表示，还是来自与该数据集一致的增强和采集痕迹。

Chen 等：A Simple Framework for Contrastive Learning of Visual Representations，https://proceedings.mlr.press/v119/chen20j.html
Goodfellow、Bengio、Courville：Deep Learning，https://www.deeplearningbook.org/