EP14 · 评估体系：比准确率更重要的指标

一句话概要：评估的总纲是任务完成率不是准确率；对话仪表盘入口、过程、出口三层才完整；推荐指标往业务目标收敛；高可用的黄金标准是四个九。 素材锚点：单选 25、单选 40、单选 47、单选 57、多选 12 ｜ 所属：第二季·工程与场景

一、知识框架

本集是智能体工程的仪表盘一集，回答三个问题：

1. 总纲是什么：评估对话智能体，比准确率更重要的是任务完成率（单选 25）——准确率量单轮对错，任务完成率量用户的事儿办没办成。
2. 仪表盘怎么配：对话系统三层指标——意图识别准确率（入口）、对话轮次效率（过程）、任务完成率（出口）（多选 12）；推荐指标往业务目标收敛——比点击率更重要的是转化率（单选 40），零售最直接的是客单价提升率（单选 57）。
3. 可用性怎么量：高可用的黄金标准是四个九（99.99%，单选 47），不是满分——承认故障必然发生，用冗余、转移、限流、降级把影响压到最小。

二、题面锚点

单选 25：评估对话智能体效果时，比准确率更重要的指标是（ ）

A. 响应字符长度　B. 任务完成率　C. API 调用次数　D. 情感极性得分

单选 40：评估推荐智能体效果时，比点击率更重要的指标是（ ）

A. 曝光次数　B. 用户停留时长　C. 转化率　D. 页面加载速度

单选 47：保障智能体系统高可用的黄金标准是（ ）

A. 99% 正常运行时间　B. 99.9% 正常运行时间　C. 99.99% 正常运行时间　D. 100% 无故障运行

单选 57：评估零售智能体推荐效果，最直接的业务指标是（ ）

A. 用户会话时长　B. 客单价提升率　C. 页面跳出率　D. 商品详情页浏览次数

多选 12：智能体对话系统的评估指标包括（ ）

A. 任务完成率　B. 对话轮次效率　C. 意图识别准确率　D. 响应情感丰富度　E. 字体渲染速度

三、答案讲透

单选 25 答案：B（任务完成率）。准确率量的是单轮回答对不对，对话智能体的价值在整件事办没办成——用户来找客服是来解决问题的，不是来听正确但没用的废话。一轮回答字都对、事没办成，用户下次就不来了。错项逐个讲透：响应字符长度是过程参数，长不等于好、短不等于差，拿长度当指标等于用饭量衡量厨艺；API 调用次数是成本指标，既不衡量质量也不衡量体验；情感极性得分可以当特征用，不能当目标用——态度好但事没办，用户照样流失。做任务完成率评估的第一步不是算指标，是定义任务边界，什么算办成要有明确判据。

多选 12 答案：ABC（D、E 不选）。三个正选是一条完整链路：意图识别准确率是入口（听懂了才能谈别的），对话轮次效率是过程（办得快才能留住人），任务完成率是出口（办成了才算数）。响应情感丰富度是个陷阱——情感丰富是手段不是目的，该严肃的场景丰富一下显得轻佻，该共情的场景平淡显得冷漠，体验要的是恰当不是丰富，拿丰富度当指标会把产品推向讨好型人格。字体渲染速度是前端性能指标，与对话质量无关。工程上按三层归因：指标掉了先查意图（补数据），再查轮次（改策略），最后查业务链路（查后端）。

单选 40 答案：C（转化率）。点击率只说明用户伸了一下手，伸手之后有没有发生价值它回答不了——点进去就走，点击率照样涨。转化率直接对应业务目标（下单、订阅、留资）。曝光次数是过程量，铺得多涨得快不说明推得准；用户停留时长是温柔的陷阱，可能是喜欢也可能是迷路；页面加载速度是体验指标，与推荐质量无关。

单选 57 答案：B（客单价提升率）。零售推荐的终极目标是让每个人买得更多更值，客单价提升率直接量这件事。会话时长在电商场景更不可靠，逛得久可能在比价；页面跳出率是网站通用指标，不特指推荐；商品详情页浏览次数还是过程量——反复看没下单，恰恰说明推荐勾起了兴趣但没促成决策，是要优化的对象而非成绩。

单选 47 答案：C（99.99%）。算账：99% 一年停机约 87 小时（三天半），99.9% 约 8 小时（一个工作日），99.99% 约 52 分钟——这才是生产级系统的及格线，行内称四个九。100% 不是答案，因为不存在：硬件会坏、网络会抖、依赖会挂，追求零故障是把工程问题当信仰问题解，成本无限涨而可靠性边际递减。工程智慧是承认故障必然发生，把故障影响压到最小——快速发现、快速恢复、快速止损，这叫韧性，不叫完美。四个九对应一整套工程手段：冗余部署、故障转移、限流降级、监控告警（呼应单选 18 的动态扩展与多选 27 的生命周期管理）。

四、延伸思考

1. 指标会反向塑造系统（古德哈特定律）：你考核什么，系统就长成什么。指标设成点击率，产品长出标题党；设成任务完成率，产品才真的帮用户办事。评估体系不是事后算账工具，是事前定方向的舵——每个智能体项目立项时的第一份文档不该是架构图，该是评估口径说明书。
2. 一组好指标像一桌菜：推荐指标涨了业务不一定好，因为指标可以被扭曲——推更激进的标题点击率涨、长期信任跌，推更高价的商品客单价涨、复购跌。真正健康的评估要看一组互相制衡的指标，过程指标做体检（灵敏），结果指标下诊断（迟钝但不说谎）。
3. 与前后集的连接：单选 40、单选 57 在 EP21 推荐系统一集作为算法侧的呼应出现；单选 47 的工程手段接 EP13 工程化的生命周期管理与 EP15 安全鲁棒；多选 12 的意图识别准确率接 EP11 对话系统一集的误触发率优化。

五、术语表