客服回复流畅不等于合格:给 AI 草稿做一张逐项质检表

把严重缺陷、漏答和语气问题分开,别让平均分掩盖错误承诺。

Buda Team
← 返回博客
客服回复流畅不等于合格:给 AI 草稿做一张逐项质检表

一句“已经为您批准全额退款”,听起来很安心,却可能完全没有依据。客服草稿也可能语气温和,仍没回答客户真正想知道的问题。主管需要看到哪句话必须改,而不是只得到一个“质量 90 分”。

把客户问题、事实和承诺分别审核。Agent 可以准备缺陷表和修订稿,人保留最终发送决定。

先固定一个完整的虚构案例

下面是虚构训练案例,不是真实客户对话。客户 Q1 针对订单 DEMO-17 问三件事:包裹在哪里、能否退款、下一步怎么办。获准订单快照 O3 写明:运输中、承运商扫描缺失、送达日期未知。已批准政策 P4 第 2 节规定:扫描缺失可以调查;退款需要客服审核,不因扫描缺失自动批准。第 3 节要求订单 ID 与已留存的联系地址,不要求完整银行卡号。

这些来源没有冲突。当前任务是拿草稿对照来源,而不是重做客服政策冲突判断。

坏稿 D1:“包裹明天就到。我们已为您批准全额退款。请提供完整银行卡号,剩下的都交给我们。”

先列出客户的三个问题,再判断草稿。逐句标记事实、承诺、建议或未知。“明天就到”不是语气小问题,而是无依据的承诺。

严重缺陷不能被平均分抵消

编号与原句引用与缺陷处理
C1:明天就到O3 日期未知,承诺无依据阻断发送,去掉日期保证
C2:已批准退款P4 第 2 节需审核,虚构批准阻断发送,说明审核条件
C3:完整银行卡号P4 第 3 节不需要,索取无必要敏感信息阻断发送,删除索取
C4:剩下都交给我们无具体调查步骤,下一步不清返工,补明确动作

客服草稿逐句质检:阻断项与返工项分别处理

这是一套建议的团队质检规则。“阻断”表示审核人不能批准此稿发送,不是宣称 Buda 有原生自动强制闸门。要求 Agent 输出编号、原句、来源位置、缺陷类型、严重度、修改建议。事实错误与风格偏好分列,不压成一个总分。

客气的问候不能抵消虚构退款批准。解决阻断项之后,再检查是否回答包裹状态、退款条件、下一步。然后才处理语气、清晰度和无谓沟通成本。品牌语气反馈可以改表达,但不能代替事实质检。

修订稿要连同未决项一起交付

修订稿 D2:“订单记录显示包裹仍在运输中,但最新承运商扫描缺失,目前无法确认送达日期。这种情况不会自动获得退款,仍需客服审核。请通过已留存的联系地址确认订单 ID,以便客服调查扫描缺失。请勿发送完整支付卡信息。”

未决清单仍有:实际送达日期、退款审核结果、调查结果。草稿提出“调查”不等于工单已经建立,更不等于退款已执行。没有工具证据或获授权人员确认,就不能把建议写成已完成动作。团队没有已确认时限时,也不能补一句“24 小时内解决”。

主管现在可以把每句话映射到 O3 或 P4,并看清什么还没解决。这比“回复 9 分”更容易做决定。

一份草稿,对应一份来源清单

保留最小版本清单:客户问题 Q1、草稿 D2、订单快照 O3、政策 P4、审核 R2。政策变化后,标记受影响句子,重核这些句子和所有关键阻断项,不能悄悄替换旧批准所依赖的证据。

版本对应关系与四类建议验收样本

可以另开一个 Session做复核,但新 Session 不是独立安全边界:同一 Agent 的 Session 共享 Drive,第二次 AI 审核也可能重复第一次错误。明确给出来源版本,要求返回缺陷表,再由人核引用。

复用方法,不自动复用批准

Buda 客服工作流可以承接资料检索、起草与人审。把脱敏案例、规则和已批准示例放进 Drive。改文件不是训练模型,也不会自动批准下一封回复。

可在 Buda AI 的 Marketplace 搜索安装合适的 Skill,先检查说明和权限;或自建范围明确的质检方法,不虚构某个现成客服 QA Skill 名称。试跑阶段不启用发送。

建议准备四类验收样本:错误承诺、漏答、索取敏感信息、完全有依据的正确回复。要求识别阻断项、把漏答退回修改,同时不能给正确稿增添新事实。这是待执行的测试建议,不是实测提效或准确率。

常见问题

没有来源怎么办?

把相关句子标为缺证,列明需要哪份来源并保持未决。请资料负责人或客服主管确认,不凭常识编政策。

团队审核标准不一致怎么办?

保留争议原句与两种解释,由负责人确定规则及适用范围,更新规则版本,再复查受影响案例,不能让模型挑更方便的一种。

质检通过就自动发吗?

本方法不授权发送。人先核修订稿、未决项和收件人上下文;后续若配置发送集成,还需独立权限与保障。

先拿一条脱敏旧工单,让 Agent 输出问题清单、缺陷表、修订稿和未决项。看懂并确认这些产物,再把方法用于队列。