图像描述生成必须同时约束视觉依据、语言质量与事实一致性

图像描述生成把视觉输入转换成自然语言。一个可用系统不仅要写出通顺句子，还要正确识别图中对象、属性、数量、关系和场景边界。语言模型很容易补全常见情节，因此最关键的质量不是文采，而是每个可验证陈述是否由图像支持。

从视觉表示到文本序列

典型系统先把图像编码成区域或视觉 token，再由文本解码器逐步生成描述。视觉编码器负责保留形状、纹理和空间关系，解码器利用已经生成的词和视觉表示预测下一个词。注意力机制让不同生成位置选择相应视觉信息，但注意权重本身不能作为事实证明。

视觉语言预训练使用大量图文对学习共同表示。CLIP 以对比目标拉近匹配图文、分开不匹配图文，适合检索与零样本分类；BLIP 同时面向理解与生成，并用描述生成和过滤机制处理网页图文对中的噪声。两类目标提供不同能力，检索相似并不自动产生细粒度、事实完整的描述。

训练数据中的替代文本、标题和网页邻近文字可能没有准确描述画面。模型会学到流行对象、摄影习惯和文化偏差。来源清理不仅要删损坏文件，还应检查图文是否对应、许可是否允许使用、人物与地点信息是否需要保护。

视觉落地要求词语能够对应到图像证据。对象存在性是基础，属性和关系更难：模型可能看见两个人，却猜测其职业；看见室内桌面，就补出没有出现的设备。描述政策应规定只陈述可见事实，还是允许合理场景概括，并对推断性语言使用明确标记。

粒度应匹配用途。无障碍替代文本通常需要简洁地传达主要内容和功能，图像检索可能需要更多对象与属性，遥感或医学图像则涉及专业术语和更严格审核。把同一长描述用于所有场景，会增加无关细节和误报。

数量与空间关系要单独测试。拥挤场景、遮挡、小目标和重复纹理容易造成漏计或错计。左右、前后和相对位置还取决于观察视角。系统无法可靠判断时，省略或使用不确定表达比编造精确数量更合适。

文字图像包含另一层问题。光学字符识别得到的文本可以丰富描述，却可能受模糊、旋转和语言影响。识别结果应与普通视觉对象分开标记，涉及账号、证件或私人通信时还需要敏感信息处理。

贪心解码倾向选择每步最高概率词，稳定但可能重复或平淡；束搜索保留多个候选，常提高常见指标，却也可能强化训练语料中的模板。采样增加多样性，同时提高无依据细节风险。温度、候选数和长度惩罚都应版本化，并在目标场景中验证。

提示可以要求描述特定方面，但不能创造缺失视觉信息。要求“详细说明人物身份”会推动模型猜测敏感属性。系统层应阻止不适当任务，并对年龄、种族、健康、身份和地点等高风险推断设定限制。

后处理可以检查禁用词、重复和格式，无法证明内容真实。对象检测或视觉问答交叉检查能发现部分矛盾，但多个模型可能共享同一训练偏差。高风险用途需要人工复核原图与最终文本。

BLEU、ROUGE、METEOR、CIDEr 等指标比较生成文本与参考描述的词语或语义重合。图像可以有许多正确描述，单一参考无法覆盖全部表达；高重合也可能保留了关键事实错误。指标适合一致条件下比较，不应作为唯一发布门槛。

评价集应把事实维度拆开：对象、属性、数量、关系、动作、文字和不当推断。人工评价可分别判断正确性、覆盖度、相关性和语言质量，并记录具体错误，而不是只给一个总体好坏分。不同人对“应描述多少”会有差异，因此需要书面规则和一致性检查。

还应建立反事实与困难样本。把常见共现对象移除、改变背景、加入罕见组合，观察模型是否继续沿用惯常描述。对人物、地区和文化对象分层评价，防止总体平均掩盖某些群体上的系统错误。

生产记录应包括模型与视觉编码器版本、预处理、提示、解码参数和安全策略。图像裁剪或缩放可能删掉关键对象，输入变换也应进入谱系。更新模型时，用固定回归集比较新增错误，并抽查真实流量中的低置信或高风险样本。

用户应能区分机器生成描述与人工确认文本，并能报告错误。修订后的描述若进入训练集，需要保留来源和同意范围。对于新闻、证据材料和专业诊断，描述只能作为辅助索引或初稿，不能替代原图审查。

批量生成还要保留图像与描述的一一对应关系。文件重命名、缩略图替换或异步任务重试都可能造成错配，这类错误往往语言通顺却完全指向另一幅图。发布前应校验内容哈希、任务标识和输出数量，并随机回看原图。

图像描述生成的价值在于把视觉内容转成可搜索、可朗读的语言。它的边界同样明确：语言流畅度来自统计规律，只有逐项视觉落地和针对性评价才能约束事实一致性。

Li 等：BLIP，https://proceedings.mlr.press/v162/li22n.html
Radford 等：Learning Transferable Visual Models From Natural Language Supervision，https://arxiv.org/abs/2103.00020