智能体上线只是开始，持续评估才能让它真正好用。很多企业只盯着“准确率”或“满意度”，却忽略了两座金矿：会话日志和未答问题清单。前者记录每一次对话的轨迹，后者暴露用户的真实需求缺口。用好这两个工具，你可以精准定位问题、优化知识库、提升转人工效率。
第一步：会话日志，从“用户走了多远”倒推断点
会话日志不是流水账，而是用户意图与智能体表现的映射。建议按以下三个维度分析：
1. 会话长度与中断节点：统计会话平均轮次，重点标记“用户主动退出”的轮次。比如某电商智能体，大量用户在第3轮输入“找人工”，往前追溯，第2轮正好是智能体回答“请提供订单号”而用户没有提供——这说明入口设计太生硬。优化方式是先模糊匹配订单，或者直接给出“忘记订单号怎么办”的选项。
2. 重复提问率：同一用户在同一会话内对同一问题重复超过2次，说明智能体没有解决其困惑。比如用户问“退款多久到账”，智能体回答“1-3个工作日”，用户又问“到底几天”，这时应补充分支：若已超过3天怎么办？把这类高频重复问题提取出来，直接补充到知识库中。
3. 转人工触发前的最后一条智能体消息：这是最宝贵的线索。如果大量转人工前，智能体都在说“请您稍等”或“我不太明白您的意思”，那就要检查对应意图的识别准确率和回答模板了。
案例：某家装公司智能体上线两个月，通过日志发现“阳台打柜子”这一问法频繁触发转人工，而知识库里只有“定制家具”的标签。优化时增加了同义词和场景化问法，转人工率下降32%。
第二步：未答问题清单，把“我不知道”变成优化清单
未答问题清单通常包括两类：智能体明确回答“不知道”的，和答非所问被用户差评的。不要只下载Excel，按以下流程处理：
1. 聚合归类：按语义将问题聚类，比如“合同问题”“发票问题”“技术故障”等。使用简单的分词工具或人工打标，每周处理一次，每次可能只需1-2小时。
2. 处理优先级排序：用“出现频次×业务影响”打分。高频且影响核心业务的问题（如报价、售后）最优先；低频但涉及合规风险的问题（如法律条款）次之；完全无关的闲聊问题直接忽略或加入兜底回复。
3. 知识库更新闭环：对于高优问题，写出标准答案后，必须测试至少3种相似问法。例如用户问“怎么开发票”和“我要报销”，可能对应同一意图，需确保都能命中。
4. 定期重新喂给模型：如果智能体基于大模型检索生成，将未答问题整理成新的问答对并纳入检索库；如果是规则型，则新增意图和槽位。每次更新后，用历史未答清单做回归测试，确保旧问题不再复发。
案例：某物流企业每周生成未答清单，发现“保价怎么算”占比最高。运营人员补充了不同货值的计算示例，并在回复中增加“保价费用试算”按钮，相关问题的解决率从41%提升到87%。
第三步：建立“周评估-月复盘”机制，让数据动起来
不要等月底一次性看报表。建议每周一花30分钟做以下动作：
- 对比上周前10个未答问题，看是否还在榜；
- 抽查20条会话日志，重点关注用户表达中的“口语化”或“错别字”，补充到同义词典；
- 记录转人工率、未答率、平均轮次三个核心指标，绘制趋势图。
月度复盘时，把累计的未答问题按业务分类，输出给销售、客服、产品等部门。很多时候，用户反复问的恰恰是产品页面上没写清楚的信息。这些反馈不仅是智能体的优化素材，更是业务改善的切入点。
智能体效果评估不是IT部门的孤岛工作，而是运营、业务与技术的协同。会话日志让你看到“用户怎么走的”，未答清单让你明白“哪里没接住”。一周一迭代，一个月后你就会看到明显变化：人工成本降低，用户满意度提升，智能体真正成为业务增长的助手。
关于企智社
企智社（湖北栖元汇数字科技有限公司）提供 GEO代运营、企业软件定制开发、支付分账SaaS、AI 智能体 四大服务，帮助企业在中国主流搜索引擎与 AI 大模型（文心一言 / 豆包 / 元宝 / 通义千问）中获得品牌曝光与精准获客。
🎁 免费领取您的品牌 AI 曝光诊断报告
看看豆包 / 文心一言 / 元宝 / 千问，是否在主动推荐您的品牌。留下品牌名，企智社免费为您出一版 AI 曝光体检，含「被引用次数」与「优化建议清单」。
