任务、能力与智能的区别
从可观察任务和评价条件出发讨论能力,避免用模糊的智能标签替代可验证描述。
任务、能力与智能的区别
“这个系统有智能”很难被直接验证。工程上更有用的问题是:它在什么条件下完成什么任务,结果达到什么要求,遇到哪些输入会失败。任务、能力和性能描述的是不同层次,把它们混在一起,会让一次演示被误解为稳定能力,也会让系统出错时找不到责任边界。
任务给出可观察的输入与结果
任务是对待解决问题的操作性描述。它应当包含输入、预期输出、运行环境和评价方法。例如“识别遥感影像中的水体”仍不够完整:输入来自哪类传感器,目标是像元分割还是地块统计,云和阴影如何处理,结果用于制图还是应急决策,都会改变任务本身。
同一个自然语言名称下可能藏着多种任务。“问答”可以是从一组已知文档中检索段落,也可以要求综合多个来源生成解释;“预测”可以估计连续数值,也可以判断是否超过阈值。任务边界越模糊,评价数据和指标越容易与实际用途脱节。
能力是跨实例保持的表现
能力不是某一次答对,而是在一类任务实例和规定条件下持续产生可接受结果的可能性。它需要由有代表性的数据、重复测试和失效分析来支持。系统能在清晰扫描件中提取文字,不代表它具备处理手写表格的能力;模型能识别训练区域常见地物,也不能自然推出它适用于不同季节和传感器。
ISO/IEC 22989 为人工智能概念和术语提供标准化框架。使用这类术语时,应保留标准公开目录所限定的版本范围,不依据目录页复述付费标准条文。实践中更重要的是把“能力”改写成可核对条件,而不是用“理解”“推理”或“自主”这些词替代证据。
性能是能力在一次评价中的量度
准确率、召回率、响应时间和人工采纳率都是性能量度。它们只在指定数据、阈值和采样方法下成立。一个分类器的总体准确率可能很高,但少数高风险类别的召回率仍不合格;一个生成系统回答流畅,也可能无法给出可追溯来源。
评价结果还受任务分布影响。测试集中常见样本占比改变,同一模型的汇总指标就会变化。因此性能报告应连同数据范围、时间、排除条件和置信区间一起保存。孤立数字不能证明普遍能力。
智能是研究视角,不是验收结论
《Artificial Intelligence: A Modern Approach》展示了从理性行动、问题求解、知识表示到学习等多条研究主线。“智能”在这些语境中帮助组织研究问题,但产品验收仍需要落到具体任务。给系统贴上“通用”或“高级”标签,不会自动扩大其经过验证的适用范围。
NIST AI RMF 强调先建立使用情境,再测量和管理风险。对一个具体系统,可以维护一张能力声明:列出支持的任务、已验证环境、已知限制、监测信号和禁止用途。声明随着数据和系统版本更新,而不是把一次模型升级解释成整体智能水平的跃迁。
用边界清晰的语言沟通
设计评审中,可以把“系统能够理解复杂文档”改成“系统能够在指定文档集合中找到与问题相关的段落,并返回来源位置”;把“系统能自主决策”改成“系统在满足规则 A 和阈值 B 时创建建议,最终状态由授权人员确认”。这样的表述虽然朴素,却能直接对应测试、权限和事故处理。
任务说明解决要做什么,能力声明说明在哪些条件下能够做到,性能指标说明一次评价做得怎样。三者分开记录,人工智能系统才有可验证、可维护的基础。
资料依据
- ISO/IEC:ISO/IEC 22989:2022 公开目录,https://www.iso.org/standard/74296.html
- Stuart Russell、Peter Norvig:《Artificial Intelligence: A Modern Approach》第四版,https://aima.cs.berkeley.edu/
- National Institute of Standards and Technology:Artificial Intelligence Risk Management Framework 1.0,https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf