迁移学习复用已有表示而不是复制结论

迁移学习利用一个来源任务中获得的参数、表示或知识，帮助另一个目标任务。它的价值通常来自预训练模型已经学到通用结构，使目标任务不必从随机参数开始。但来源数据中的标签、偏差和使用条件也会一起进入参数，预训练效果好并不证明目标场景可靠。

可迁移的是表示与归纳偏好

图像模型早期层常捕捉边缘和纹理，语言模型学习词法、句法与上下文关系。这些表示可作为目标任务起点。来源与目标越接近，复用通常越直接；成像方式、语言、用户和标签定义差异越大，迁移风险越高。

特征提取方式冻结预训练主体，只训练新的输出层，成本低且减少小样本过拟合，但固定表示可能缺少目标特征。微调允许部分或全部参数更新，适应能力更强，也更容易破坏已有能力。

不能只按网络层数决定冻结范围。层的功能、归一化统计和目标数据规模都影响结果。应比较冻结基线、逐层解冻和完整微调，而不是默认“微调越多越好”。

迁移前要核对目标标签是否与预训练任务一致。来源模型区分通用物体，目标任务可能要求细粒度缺陷；相同类别名称也可能有不同业务边界。

目标训练集很小时，随机切分容易让同一对象或场景泄漏到验证集。应按患者、设备、地点或时间分组，并保留真正独立的外推测试。

少样本不能代表没有数据治理。错误标签、类别遗漏和采样偏差会被高容量模型快速记忆。先建立清晰标注规范和代表性样本，往往比增加微调轮次更重要。

来源许可证、个人数据和使用限制也随模型而来。权重可下载不等于可在所有业务中使用，模型卡和训练资料应进入资产审查。

预训练参数通常使用较小学习率，新输出层可使用较大学习率。过大的统一学习率会迅速覆盖已有表示，过小则只让新层变化。

逐步解冻可以先稳定任务头，再开放更深层。训练曲线要同时观察来源能力和目标能力；只看目标训练损失，无法发现灾难性遗忘。

早停和正则化仍需在验证边界内选择。用测试集反复决定解冻层数、学习率和轮次，会把测试集变成调参数据。

批归一化等层含有运行统计。冻结权重却更新统计，或反之，都会产生不同模型。训练与推理模式必须明确记录。

迁移模型可能低于从头训练基线，这称为负迁移。来源领域差异、错误预训练目标和目标样本偏差都可能导致这种结果。

应保留简单基线，包括线性模型、冻结特征和从头训练的小模型。没有这些比较，无法知道性能来自预训练还是更大容量与更长训练。

整体指标改善也可能掩盖群体退化。预训练数据较少覆盖的语言、设备或地貌可能受益更少，应按关键群体和困难条件分层验证。

表示相似性或可视化只能作为诊断，不能替代独立任务评价。潜在空间看起来聚类清晰，不代表决策阈值、校准和鲁棒性满足使用要求。

无监督领域适配可以让来源与目标输入分布更接近，但如果相同输入特征与标签的关系发生变化，仅对齐分布可能把类别混在一起。

合成数据和数据增强可以补足目标变化，却必须验证生成过程是否覆盖真实噪声。模型学会识别模拟器特征，会在离线数据上表现很好而在线上失效。

持续微调还会产生版本漂移。每个版本应保存基础权重、目标数据、训练配置和评估结果，支持回滚并区分基础模型升级与目标数据变化。

输入变化、标签延迟和新类别会使迁移收益随时间下降。上线监控应覆盖输入质量、分数分布、关键群体、人工复核和成熟标签性能。

重新微调不能仅由一个漂移告警自动触发。需要确认变化来源、获得可靠标签，并在候选模型通过回归、安全和成本门禁后发布。

适配器、低秩更新和提示调优只训练少量参数，能减少显存、存储与多任务部署成本。但它们仍依赖基础权重中的表示，不能自动修复基础模型缺失的语言、场景或类别。参数量更少也不等于更不容易过拟合，小数据上的验证纪律不能放松。

多个适配模块共享同一基础模型时，基础版本成为共同依赖。升级基础权重可能改变所有任务输出，因此应记录基础模型摘要、适配参数、分词器、预处理和推理配置，并按任务执行回归。部署系统还要防止加载错配的适配器或把一个客户的数据更新用于另一个客户。

迁移资产的谱系应能追溯到来源许可证、训练数据版本和评价报告。仅保存最终权重无法解释结果，也无法在发现数据污染、授权变化或安全缺陷时定位受影响版本。发布清单与可复现训练记录是迁移学习进入长期运行的前提。

迁移学习缩短了从通用表示到专用模型的距离，但不会替代目标数据和目标评价。可靠迁移始终把预训练当作起点，而不是对新环境的证明。

Goodfellow、Bengio、Courville：Deep Learning，https://www.deeplearningbook.org/
NIST：Artificial Intelligence Risk Management Framework，https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf