4.6 我怎样同时看质量、速度和成本
第一批测试里，系统对复杂合同的判断很准确，却需要八分钟。
工程师觉得这个结果不错，因为过去人工检查一份合同常常要半小时。销售小林却告诉我：“客户还在电话里等方案时，我不会等八分钟。我会先把旧版本发出去。”
另一个方案只需要十几秒，但每处理一笔订单都要反复读取大量资料。按全公司订单量计算，AI 使用费用可能比节省的人工时间还高。
我不能只问“准不准”。一个系统必须在真实工作要求的时间和成本里提供足够可靠的结果。
我先问结果要在哪个时刻被使用
同一份分析，在不同使用时刻有不同速度要求。
销售在客户通话中需要几十秒内得到缺失问题；方案正式发出前可以等待几分钟；月度复盘可以花更长时间换取更完整的检查。
我为每个关键时刻写下最长可接受等待。如果超过时间，系统应该先给出已有事实、转为人工检查，或者明确告诉用户稍后返回，不能让员工不知道还要等多久。
速度不是技术团队自己设定的指标，它来自业务工作的节奏。
质量也不能只用一个平均数
工程师最初给我看“整体正确率”。我要求把样本拆开。
标准订单、资料缺失订单、非标准承诺订单和主体冲突订单的风险不同。系统在大量简单订单上做对，可能掩盖它在少数高风险订单上经常出错。
我把质量分成四类：
- 事实有没有正确引用来源；
- 缺失和冲突有没有被发现；
- 不确定内容有没有被错误写成事实；
- 高风险动作有没有被正确拦住。
其中最后两项即使数量很少，也可能决定试点能不能继续。
成本要把人的工作也算进去
AI 调用费用只是成本的一部分。
准备资料、清理数据、人工复核、处理错误、员工学习新流程、工程师维护和供应商服务都要计入投入。如果系统生成很快，却让员工花更多时间核对，成本只是从一个地方移到了另一个地方。
我同时记录：
| 成本来源 | 我怎样观察 |
|---|---|
| 建设与连接系统 | 工程投入、外部服务和一次性准备 |
| AI 使用 | 每笔订单和每月的调用费用 |
| 人工检查 | 谁检查、花多久、哪些情况必须接管 |
| 错误与返工 | 错误输出造成的重新沟通和修正 |
| 运行维护 | 规则更新、评测、事故和供应商支持 |
没有这些数字，我无法向经营层说明所谓“自动化”是否真的更便宜。
最终仍要回到经营结果
质量、速度和成本都合格，不代表项目值得继续。
这条价值流真正关心的是：签约前发现缺口的比例有没有提高，项目重新访谈和范围变更有没有减少，验收与回款是否更及时，客户和员工是否愿意继续使用。
我把评测分成四层：
- 输出质量；
- 使用等待；
- 完整成本；
- 经营结果。
前面三层告诉我系统是否可用，最后一层告诉我公司是否应该继续投入。
我不追求所有指标同时最好
复杂合同要更高质量，可能需要更多时间和成本。简单标准订单则可以使用更快、更便宜的路径。
我和业务负责人按风险分级：低风险资料整理优先速度和成本；涉及合同、价格和客户承诺时优先质量和人工确认。
这种取舍要写进执行包，不能等系统变慢或费用上升以后才临时争论。
如果经营层要求质量更高，就要接受更多检查和成本；如果要求更快，就必须缩小任务或增加风险保护。
平均值以外，我还看最差情况
平均响应两分钟，可能包含少数等了二十分钟的订单。平均质量不错，也可能有一个大额合同被错误放行。
我固定查看最慢的一批、成本最高的一批、发生人工接管的一批和所有高风险错误。它们更能告诉我系统在哪些边界会失去作用。
每次指标异常，都要能回到具体订单和运行记录。只有趋势图，没有样本，团队很容易用不同故事解释同一个数字。
指标越界时必须有动作
我为重要指标设定最低标准和处理人。
质量跌破底线时退回只读建议；响应过慢时显示等待并允许人工继续；成本突然上升时缩小处理范围；高风险错误出现时立即停止相关自动动作。
提醒不是处理。每个越界条件都要连接一个决定：谁查看、多久内决定、决定后系统进入什么状态。
我们没有用一个“准确率”决定上线
| 层次 | 第一阶段观察 | 当前门槛或判断方式 | 越界动作 |
|---|---|---|---|
| 质量 | 关键事实能否回到来源；缺失、冲突和越权能否停下 | 十二条验收逐条通过；任何高风险遗漏都不被平均值抵消 | 保持历史验证或退回只读，修正后重测 |
| 等待 | 通话前缺失问题、方案前核对、复杂合同整理分别要多久 | 由真实使用时刻确定；用户必须看见等待和人工入口 | 超时显示已有来源，允许人工继续，不让员工盲等 |
| 完整成本 | 建设、连接、AI 使用、资料准备、人工检查、错误和维护 | 试点先建立每笔订单和每周口径，不编造节省金额 | 成本快速上升时缩小来源和任务，复核经营价值 |
| 采用 | 九名首批用户何时使用、为何修改或绕过 | 新流程不能长期要求完整双录，也不能依赖 FDE 逐笔提醒 | 回到触发时刻和工作设计，不先归因于培训 |
| 经营变化 | 缺失暴露、承诺决定、交接退回、范围返工 | 十二周观察过程；验收、毛利和回款等待完整周期 | 没有业务变化就不因模型指标好而扩大 |
这张表刻意留下了尚无基线的内容：项目交接后重新追问次数、错误客户承诺和完整运行成本都要在试点开始记录。未知没有被填成漂亮的节省比例。
执行包的指标与证据边界见 第 11 节。下一节不假设质量门能挡住所有错误，而是把财务来源中断、重复写入和错误交接已经发生后的继续工作与恢复写清：出错以后，我怎样让工作继续。