工具型智能体把模型输出转化为受约束动作
从状态、计划、工具调用和反馈理解智能体循环,并说明权限、错误传播与停止条件为何必须独立控制。
工具型智能体把模型输出转化为受约束动作
工具型智能体不只生成文本,还会选择工具、构造参数、读取结果并继续行动。搜索、数据库、代码执行、支付和设备控制都可能进入同一循环。模型输出因此从建议变成系统输入,错误会越过语言层,直接影响数据、权限和现实资源。
把一个语言模型接上函数列表并不自动形成可靠智能体。完整系统还包含目标、状态、计划、工具契约、记忆、策略执行、人工确认和停止机制。每一层都需要独立验证,因为流畅的解释不能证明动作正确。
目标必须转成可检查的完成条件
“处理这件事”之类目标没有清晰边界,智能体无法知道何时停止,也无法判断是否偏离。任务应给出允许的结果、禁止的副作用、预算、期限和完成证据。开放式探索与确定性执行需要不同权限。
目标分解会产生中间假设。后续步骤依赖前一步结果时,应保存实际观测而不是模型记忆中的概括。关键前提变化后,原计划需要失效重算,不能为了维持叙事继续执行。
多个目标可能冲突,例如速度、成本和安全。优先级与硬约束应由系统策略决定,而不是临时交给生成文本权衡。不可逆操作要有更高证据门槛。
工具契约缩小模型可以表达的动作
工具接口应使用结构化参数、明确类型、枚举和边界,拒绝未知字段。让模型拼接任意命令或 SQL,会把语言歧义直接变成执行风险。工具返回也要有稳定结构和错误分类,使重试、修正与停止能够区分。
工具描述是决策输入的一部分。名称模糊、单位缺失或副作用未说明,会导致模型选择错误。描述应包含前置条件、权限、幂等性、成本和输出限制,但不能把密钥或内部敏感细节放入提示上下文。
参数校验必须在工具侧执行。模型说自己已检查不能代替访问控制、范围限制和业务约束。文件路径、URL、资源 ID 和金额等字段尤其需要规范化,避免跨租户、路径穿越或请求伪造。
观测可能不完整、过期或具有敌意
工具结果不是天然事实。搜索内容可能错误,网页可包含诱导指令,数据库读取可能是旧快照,传感器也有缺测。系统应区分数据与控制指令,外部内容不能提升自己的权限或改写上层目标。
结果过长时需要截断或摘要,但摘要会丢失限定条件。关键字段应结构化保留,并让模型知道哪些内容未读取。对分页和异步任务,应确认完成状态,不能把第一批结果当作全量。
同一工具多次调用可能产生不同结果。时间、版本和查询条件应进入记录,使后续判断知道依据何时成立。需要强一致证据的操作,应由事务或锁保证,而不是期待模型自行避免竞态。
记忆分为工作状态和长期资料
工作记忆保存当前任务步骤、观测和未决问题,生命周期应随任务结束。长期记忆保存经过审核的偏好或事实,需要来源、更新时间、权限和删除机制。把所有对话自动写入长期记忆,会积累错误与敏感信息。
检索到的记忆应当作候选证据,而不是系统指令。过期记录与当前输入冲突时,需要显式解决。记忆写入也应防止模型把外部提示注入内容保存为未来控制规则。
任务恢复要基于结构化检查点。只保留一段“已经完成大部分”的文本,无法判断哪些副作用真正发生。检查点应包含工具调用标识、结果摘要、待执行动作和可重放边界。
权限应按单次任务和动作收缩
智能体使用的身份不应拥有所有工具的最大权限。每个任务只授予所需资源、动作和有效期,高风险工具可使用独立凭据。读权限、建议权限和执行权限要分开,避免为了便利把查询代理变成管理员。
授权决策应发生在模型之外。策略引擎根据用户、资源、环境和风险判断,模型不能通过改写理由绕过。人工确认页面要展示实际动作、目标资源和影响,而不是只显示模型的自然语言概括。
确认也有边界。连续弹窗会让人机械点击,过早确认则可能在参数尚未确定时授权空白范围。应在完整参数生成后确认,并设置金额、批量、生产环境和不可逆性等触发条件。
循环必须有预算和停止条件
工具错误可能诱发无限重试,搜索可能不断扩展问题,两个智能体还可能互相触发。系统需要最大步数、时间、费用、相同错误次数和资源消耗限制。达到上限时应返回已完成、未完成和最后证据,而不是伪造成功。
重试前要判断动作是否幂等。创建、发送和支付在超时后可能已经完成,直接重试会重复副作用。幂等键、状态查询和补偿动作应由工具协议提供。
紧急停止必须能撤销尚未执行的队列、终止运行并吊销临时凭据。停止后仍要保存审计证据。只关闭用户界面而让后台步骤继续,不是真正停止。
评价要覆盖轨迹而非只看最终答案
一个任务偶然成功,可能经过了越权、无效调用或不必要成本。评价应检查工具选择、参数、顺序、证据使用、权限请求和停止行为。模拟环境可以覆盖失败分支,但不能代替受控的真实集成测试。
测试集要包含工具超时、冲突结果、恶意内容、缺少权限、部分成功和回滚。指标除了完成率,还应有违规率、无效调用、人工介入、成本和可恢复性。高平均完成率不能抵消一次严重越权。
生产审计记录应连接用户目标、策略版本、每次工具调用、批准和结果,同时按数据最小化处理敏感内容。事故复盘需要区分模型判断、工具实现、策略配置和外部数据错误,避免把所有问题笼统归为“智能体失误”。
工具型智能体的能力来自行动闭环,风险也来自同一闭环。把权限、契约、证据、预算和停止能力放在模型之外,才能让系统在模型判断不可靠时仍保持可控。
资料依据
- Russell、Norvig:Artificial Intelligence: A Modern Approach,https://aima.cs.berkeley.edu/
- NIST:Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile,https://www.nist.gov/itl/ai-risk-management-framework/ai-risk-management-framework-resources