AI Agent 从 Demo 到上线：工程师的六个入门自查问题

一次成功运行，说明系统在那次输入、模型响应和工具状态下完成了任务。它还没有回答：模型超时怎么办，工具是否重复执行，进程重启后能否接着做，换了提示词会不会破坏旧任务。

对已经能调用模型的后端、全栈和平台工程师来说，把 Agent 部署到实际环境，需要逐步补上这些可测试的工程问题。

本文沿用素材作者提出的工程清单方向，具体检查动作是本文的解释与测试建议。来源属于课程宣传材料，不能用于证明项目可靠性、课程效果或美国招聘要求。下面六问是入门自查框架，不是完整交付标准。

先定义什么叫“有效输出”。如果下游需要结构化数据，应检查字段、类型和业务约束，不能仅凭 JSON 能解析就继续执行。例如，日期格式正确，不代表日期在允许范围内。

随后区分失败类型。限流、网络超时、格式错误和业务拒绝，不应共用一个无限重试分支。可以为暂时性错误设置重试次数、等待策略和总时间预算；输出修复也要设上限，超过后进入明确的失败或人工处理状态。

自测动作：模拟超时、缺字段和流式输出中断，检查系统是否会把半截响应当成完整结果。记录模型版本、提示词版本、耗时、用量及估算费用，让一次失败的代价可查。备用模型能否保持相同行为，也需要单独测试。

模型提出“调用某个工具”，不等于它有权执行。参数校验、用户权限和必要的确认，应由工具执行层落实，不能只写在提示词里。

工具还要区分读取与写入。查询工单和创建工单的风险不同；后者如果超时，不能直接认定创建失败，再发一次请求。服务端可能已经完成操作，只是响应没有返回。

自测动作：用越权参数、重复请求和“执行成功但响应丢失”测试工具。写入操作可结合幂等键、业务记录查询等机制避免重复，但必须验证具体实现。追踪记录应能串起任务、调用参数摘要、授权结果与执行结果，同时避免记录密钥和不必要的敏感数据。

多步骤任务需要显式状态，例如运行中、等待确认、成功、失败或取消。只保存聊天记录，通常不足以表达哪些业务操作已经完成、哪些结果仍不确定。

Checkpoint（检查点）需要记录可恢复的进度，包括已完成步骤、关键输出、待处理事项和执行版本。但“有检查点”本身并不能证明恢复可靠。尤其要检查工具执行与状态保存之间的空隙。

自测动作：在工具执行成功、任务状态尚未落盘时终止进程，再启动任务。系统能否先核对业务结果，再决定继续还是重试？Agent 失败恢复应明确区分“已失败”和“结果未知”，还要验证取消后的任务不会被后台重试重新启动。

长任务可能同时使用用户要求、历史消息、检索文档和工具结果。把它们全部拼接进提示词，会让来源、时效和优先级难以辨认。

可以按用途组织信息：任务约束单独保存，检索内容保留来源与版本，关键业务状态从持久化记录读取。外部文档中的指令应作为待处理内容，不能直接获得工具执行权限；检索过程也要遵守用户的数据访问边界。

自测动作：把关键限制放在任务开头，再加入较长历史和相互冲突的资料。检查压缩后的上下文是否遗漏限制，回答能否追溯到支持它的材料。检索、重排和记忆只是可选机制，是否改善结果，需要与不使用这些机制的版本对照测试。

AI Agent 评测可以从一小组有明确验收条件的任务开始。除了正常路径，也应覆盖缺少信息、工具不可用、权限不足和中途取消。每个任务都要说明成功意味着什么，例如“业务记录正确创建”，而非“回答看起来合理”。

保留当前版本的基线，在尽量一致的条件下比较候选版本。除了最终任务成功率，还可以检查参数正确性、引用是否支持结论、费用和延迟。记录样本范围与运行次数，避免用少量成功结果概括整个系统。

自测动作：只改变一项配置，重跑旧任务并查看失败 Trace。定位问题发生在检索、决策、参数生成还是工具执行。LLM-as-Judge 可以辅助评价开放式回答，但确定性的业务结果应优先用规则或实际记录核验；评分模型本身也需要抽查。

监控应覆盖任务完成情况，而不只是接口是否返回成功。值得记录的信号包括失败步骤、等待时间、重试次数、工具错误、费用和延迟。告警阈值应根据自己的任务基线设置，不宜照搬一个通用数字。

发布时，要能识别代码、模型配置、提示词、工具接口和检索配置的版本。小范围发布可以帮助观察问题，但不能替代测试。回滚前还要确认旧版本能否读取当前任务状态。

自测动作：发布一个会导致任务失败的测试版本，验证告警、停止新任务和恢复旧版本的流程。注意，回滚配置不会撤销已发送的邮件或已写入的业务数据。这类副作用需要另行核对、补偿，必要时转交人工处理。

选择一个范围明确的任务，按下面的表留下测试证据，不必一开始搭建复杂平台。

优先补无法判断结果、可能重复写入、无法停止执行的缺口，再考虑增加更多工具和复杂编排。

如果把项目用于美国工程岗位面试，可以准备一段失败 Trace、一次恢复测试和一份版本对照结果，说明你如何发现问题、做取舍，以及哪些边界仍未验证。这比单独展示一段成功演示更能说明工程思考，但不能据此推断所有岗位的招聘要求。