视觉语言检索在共享表示空间中匹配图像与文本

跨模态检索希望用文字找到图像，或用图像找到相关描述。常见方法分别编码图像与文本，再把两种表示映射到同一向量空间，使配对样本相似、非配对样本分离。检索依赖的是学习到的相关性，不是对图像事实的完整理解。

双编码器支持大规模检索

图像编码器把像素转换为向量，文本编码器把标记序列转换为向量。向量归一化后可用余弦相似度排序。因为两侧可以独立计算，图库向量能够预先索引，查询时只需编码一次文本并做近邻搜索。

交叉编码器让图像和文本在深层共同注意，通常能获得更细交互，但无法低成本预编码所有组合。工程上常用双编码器召回候选，再用交叉模型重排。

向量维度和距离函数属于模型契约。不同版本的嵌入空间不能直接混在同一索引中，升级时要重建或并行维护索引，并记录向量与原始资产版本。

CLIP 使用大规模图文配对和对比目标，让真实配对在批内候选中得分更高。批量越大，负样本越丰富，但也更容易包含语义上同样正确的“假负样本”。

配对数据来自网页时，标题、替代文本和附近文字并不总是精确描述图像。模型会学习文化、语言和采集渠道的统计关联，也会继承错误与刻板印象。数据规模不能替代来源和质量分析。

温度参数控制相似度分布锐度。训练目标优化相对排序，不保证分数是概率。不同查询的最高分不能不经校准直接比较，也不能用固定阈值跨领域判断“匹配”。

把类别名称写成文本提示，与图像向量比较，就能把检索模型用于零样本分类。提示措辞、语言、上下文和类别集合都会改变结果。“一张某物的照片”与单独类别词可能产生不同排序。

提示集成可以平均多种描述，减少偶然措辞影响，但类别定义仍来自文本。细粒度专业类别若在训练数据中少见，通用语义空间未必有足够分辨能力。

零样本表现应在目标数据上验证，并与监督基线比较。不能因为模型在公开基准上可迁移，就假定它理解本地设备、遥感影像或医学图像的专门语义。

常用 Recall@K 检查正确配对是否进入前 K，平均排名或平均精度描述排序质量。一个图像可能有多个合理描述，只有单一标注时，模型返回语义正确但未标注的结果会被算错。

评价集应包含困难负样本，例如外观相似但关键属性不同的图像。随机负样本太容易，会高估系统区分颜色、数量、空间关系和否定表达的能力。

还要按语言、主题、图像质量和群体拆分。总体召回可能掩盖非主流语言或特定地域明显下降。查询日志评价必须处理位置偏差和旧系统曝光造成的选择偏差。

共享空间擅长主题和风格相关性，却可能忽略精确计数、文字内容、时间和因果。图像与“没有安全帽的人”相似，不证明模型正确处理了否定，也不能替代安全检测器。

近邻结果还可能暴露训练或索引中的敏感内容。上传图像搜索需要访问控制、保留策略和滥用防护。开放文本查询也可能用于寻找不当内容，需按产品风险设置过滤和审核。

模型卡应记录训练背景、预期用途、评价切片和限制。检索系统还要记录索引语料、更新频率、去重与删除流程，因为结果行为由模型和语料共同决定。

线上指标包括无结果率、点击或人工相关性、延迟、重复结果和不同查询群体的覆盖。点击受排序位置和界面影响，不能直接当作真相关标签。

索引近似算法用速度换召回，需要以精确搜索为参考评估。量化会进一步改变距离，升级模型时应重新调参与验证。删除资产后，向量和缓存也必须同步删除。

视觉语言检索提供灵活入口，但可靠边界应写成：在什么语料、语言、图像类型和评价规则下，它能把相关候选排到前面。这个边界比“模型理解图像和语言”更准确。

检索系统上线前应建立包含易例、难例和无匹配项的固定评测集。难例可以覆盖近义描述、细粒度属性、否定表达、文字水印和视觉上相似但语义不同的对象。对每次模型或提示更新，既比较总体召回率，也检查关键查询的排序变化。人工复核应记录相关性等级和分歧，而不是只保存一个二元标签。

生产日志还应保留查询文本、候选版本、相似度和最终交互，但涉及个人或敏感图像时需执行最小化收集与访问控制。没有点击不一定表示结果不相关，点击也可能受排序位置影响，因此在线反馈不能直接作为无偏真值。

Alec Radford 等：Learning Transferable Visual Models From Natural Language Supervision，https://arxiv.org/abs/2103.00020
Margaret Mitchell 等：Model Cards for Model Reporting，https://arxiv.org/abs/1810.03993