GeoXMind

人工智能系统的边界与组成

把人工智能放回目标、环境、数据、模型、接口和治理组成的系统中，辨清模型能力与系统能力。

人工智能系统的边界与组成

谈论人工智能时，最容易被看见的是模型，真正交付结果的却始终是一个系统。用户提出问题以后，输入要经过采集、校验和表示，模型才会参与计算；模型给出的分数、类别或文本还要经过规则、权限、业务流程和界面，最后才成为用户能够使用的结果。把模型的表现直接当成整个系统的能力，会遗漏数据来源、调用环境和人员责任这些决定成败的条件。

从任务而不是模型名称开始

系统边界首先由任务决定。一个影像分类系统的任务可能是给地块分配类别，也可能是为人工判读提供候选区域。两者可以使用同一个模型，但允许的漏判、处理时限、解释要求和人工复核方式完全不同。《Artificial Intelligence: A Modern Approach》以智能体在环境中感知并采取行动来组织人工智能问题，这种视角提醒我们：输入、可采取的动作、评价标准和环境约束共同定义了任务，算法只是实现手段之一。

任务描述还要说清系统不负责什么。用于检索资料的排序结果不等于事实判断，风险提示不等于最终审批，生成的文字也不能自动取得来源资格。明确输出的含义和使用者能够据此采取的动作，才能确定错误会造成什么后果。

一条结果经过哪些部分

典型人工智能系统至少包含数据、表示、模型、运行服务、业务控制和反馈记录。数据部分负责来源、许可、时间范围和质量；表示过程把现实对象转成特征、标记或上下文；模型根据训练形成的参数进行估计；运行服务处理版本、资源、超时和并发；业务控制决定何时采纳、拒绝或转交人工；反馈记录用于发现分布变化和失效模式。

这些部分并不总在同一个程序里。外部模型接口、内部数据库、人工标注团队和使用结果的业务部门都可能位于系统边界两侧。边界画在哪里，要以责任是否能够被管理为准，而不是以服务器或代码仓库为准。外部服务即使通过一个简单 API 接入，仍然带来数据传输、版本变化、可用性和供应商责任等约束。

模型能力不能自动扩展到系统能力

离线测试说明模型在某个数据集和评价方法下的表现，不能单独证明系统在真实环境中可靠。输入格式变化、传感器更新、用户行为改变或业务规则调整，都可能让原有指标失去代表性。系统还可能因为缓存错误、权限配置或界面诱导而失败，即使模型输出本身符合预期。

反过来，模型并非每项能力都要独立承担。确定性规则适合表达不可违反的限制，数据库适合保存权威状态，人工复核适合处理高后果和模糊情形。工程设计的目标不是让模型包办流程，而是把统计判断放在它有证据支持的位置。

风险边界也是系统边界

NIST AI RMF 把人工智能风险管理放在治理、情境识别、测量和管理的连续活动中。由此看，系统清单不仅要记录模型和版本，还应记录受影响的人、数据来源、预期用途、可接受误差、监测指标和停止条件。风险可能来自模型错误，也可能来自不恰当使用、缺少申诉渠道或长期无人复核。

一个可维护的人工智能系统应当能够回答：当前运行的是哪个版本，输入来自哪里，输出被谁使用，出现异常时由谁处置，哪些证据足以恢复服务。能够回答这些问题，才算真正划清了系统边界。

资料依据