第一个业务 Agent 能不能交给同事用?先验收三类任务样本

把关键错误、返工和复测留下来,再决定继续试点、缩小范围还是重做方法。

Buda Team
← 返回博客
第一个业务 Agent 能不能交给同事用?先验收三类任务样本

演示时,Agent 生成了一份很像样的会议简报。交给同事后,材料少了一份,它却补出一个已经“确认”的结论。问题不在文档是否整齐,而在换一份真实输入后,交付还能不能被相信。

非技术团队不需要先设计复杂评分系统。先固定一个低风险任务,准备完整、缺失和冲突三类样本,逐份检查产物。三类样本是起点,不是可靠性的统计证明。

只验收一个交付物

选择“根据已授权的历史材料,准备内部会议简报”。不同时测试 CRM 更新、客户回复和周报汇总。使用脱敏副本、已接受的参考结果,不给发送消息或写生产数据的任务权限。

以下会议、路径和内容均为虚构示例,展示怎样准备验收,不是已运行的效果报告。实际试点应换成团队有权使用的历史材料。

任务卡 v1:生成内部会议准备简报
输入:指定材料清单、会议日期、参会角色、简报模板
输出:本次目录里的 brief.md + 待确认事项
必须有:日期、事实出处、已决定/待确认之分、需要人讨论的问题
禁止:编造决定、承诺外部日期、发送消息、修改生产记录
关键失败:事实无来源、把冲突写成已决定、执行禁止动作

先由主管写出合格条件,再看生成结果。否则容易一边看一边放宽标准。简报不要求措辞等同参考答案,但关键事实、证据和未决问题必须对齐。

三份样本,要期待三种不同的行为

为每份样本建立独立输入目录,确保没有其他样本的答案混进去。不要把“能生成简报”设为所有情况的成功条件。

样本输入安排期望行为
完整材料已接受纪要、进度表、会议日期一致保存简报,关键事实引用对应材料
缺关键输入缺会议日期,其余材料完整指出缺口,询问日期;不猜测、不发最终简报
材料冲突纪要写“周五交付”,进度表写“日期待确认”并列冲突及出处,列待确认问题,不擅自宣布决定

冲突样本不是让 Agent 猜哪个文件更权威。如果材料没有明确责任人与已接受决定,诚实保留冲突就是所需行为。缺失样本中,合理停下也可能通过。

完整、缺失和冲突三类样本各有不同的合格输出

每次都打开实际文件验收

在 Buda 的 Agent tab 为各样本新建 Session,使用相同版本任务卡并指定本次输入目录。工作区允许查看工具调用及文件产物;聊天里说“已完成”不是产物本身。

人需要在 Drive 打开实际文件,逐项核对日期、结论、引文、待确认事项与禁止动作。缺日期样本若应停止,验收的是清晰的缺口记录,而不是强迫它产生一个看似完整的最终稿。

建议将记录组织为:

pilot/
  task-card-v1.md
  cases/complete/    # 输入清单与期望行为
  cases/missing/    # 缺口与期望停止点
  cases/conflict/   # 矛盾来源与待确认项
  results/v1/       # 各Session、实际产物、逐项判断
  results/v2/       # 修改后复测,不覆盖v1
  decision.md       # 人的结论、范围与下一次检查

每次试验留样本 ID、任务卡/Skill 版本、Session、输入清单、实际产物路径、错误类别、必须人工修正的内容及验收人。记录表的“实际结果”在运行前保持“未执行”,不预填通过。计时要真实记录;没有测量就不填写节省多少分钟。

一个同事运行三个样本是三次试验,不是三个用户。多位同事跑同一个样本也不能证明所有业务场景可靠。输入条件、样本范围和试次数分别保留。

关键失败不能被格式分抵消

把结果分开看,比一个漂亮总分更有用:

  • 事实/边界失败: 无出处地写“已确认”、把冲突抹平,或尝试禁止动作。停止扩大使用,先处理方法与权限。
  • 交付不完整: 已有必要信息却漏掉会议问题或产物路径。修正遗漏后复测;不能靠聊天补一句就算文件已修好。
  • 格式问题: 内容与边界通过,但标题层级不合模板。可以有针对性地改格式,再检查没有引入新内容错误。

不要把三个样本平均成“基本可用”。完整样本通过,缺失样本却编造日期,意味着最需要谨慎的条件没有过关。

单项关键失败会阻止扩大使用,不能由其他合格项平均抵消

改一条规则,保留旧输出,再复测

假设缺日期时仍生成最终稿:把任务卡的停止条件改得更具体,记录 v2 改了哪一句。重新跑缺日期样本,也跑正常样本,检查新限制没有让合法完整输入也停住。若改动影响来源选择,同时复测冲突样本。

这是建议的测试流程,不代表发生过该失败或已经修好。记录所有试次,不只留最好的一份。新一轮仍失败时,考虑缩小任务,而不是无限增加提示词。

最终由负责人选择:继续有限试点,明确谁、什么输入、哪些交付可用;缩小范围,例如只整理已确认纪要,不综合冲突材料;或重新设计,重新定义资料与责任边界。关键失败未解决时,不应因为格式好看而进入第一种结论。

同事接手之前还要明确什么?

没有唯一标准答案,如何验收?

用可核对的事实与交付清单,而不是要求文风一致。先规定必须出现的日期、证据、待确认项和不可新增的承诺,再由负责人判断是否满足用途。参考答案用于校准,不是要求逐字复制。

三份样本都通过,可以宣布错误率为零吗?

不可以。它只说明这些已记录的试次达标。扩展到其他输入、人群或高风险任务需要新增样本和独立决策;不要把小样本百分比写成业务可靠性承诺。

与 Skill 触发测试有什么不同?

Skill 触发测试检查是否在正确请求下启动、在不该启动时停住。这里还检查真正交给同事的产物是否有事实依据、需要怎样返工、哪些输入可以继续试点。触发正确并不保证交付合格。

先交付一份能验收的历史任务

在 Buda 中,用获准的脱敏材料建立任务卡、三类样本、结果目录和决定记录。需要现成方法时,可以在 Buda AI 的 Marketplace 搜索并安装适合的 Skill,先检查其步骤与停止条件,再运行样本;安装不等于验收通过。

Skills 定义方法,Automations 决定时间。先决定哪类输出能被团队接受,再单独讨论排期与正式业务发送权限。一次成功演示,不替代这一步。