企业部署AI智能体后，最常问的问题是：它到底干得好不好？与其凭感觉，不如直接看数据。会话日志和未答问题清单是两把钥匙，能帮你定位短板、优化话术，让智能体真正成为得力助手。
会话日志：重点看三个指标
别被海量日志淹没，先聚焦三个维度：
1. 转人工率：如果会话中大量用户主动要求转人工，说明智能体在意图理解或解决方案上存在缺口。统计每个问题分类下的转人工率，找出高频失败场景。
2. 平均交互轮数：轮数过多（比如超过5轮）往往意味着智能体没有直接命中答案，或是问题表述有歧义。逐条浏览这类长会话，能发现表达不清的答案模板。
3. 用户情绪信号：日志中的“差评”“投诉”关键词，或重复询问同一问题的行为，都是痛点信号。例如用户连续三次问“怎么退款”而智能体始终回复“请提供订单号”，说明答案没有覆盖具体流程。
建议每周末导出日志，用Excel透视图按问题类型分组，对比上一周数据变化。重点处理排名前五的高风险问题。
未答问题清单：从“不知道”到“全都懂”
未答问题清单（即智能体无法命中知识库的提问）是免费的需求调研表。具体做法分三步：
- 归因分类：将未答问题分为三类——知识缺失（知识库没有）、意图模糊（问题描述不清）、覆盖不全（有资料但检索不到）。例如用户问“发票怎么开？”但知识库只有“开票信息”，就属于覆盖不全，需要优化关键词映射。
- 补录优先级：按频率×业务损失排序。高频且影响交易（如价格、售后）的问题优先补充；低频但涉及合规的（如退款政策）也要尽快处理。每周从清单中选取5-10条，更新到知识库或调整提示词。
- 联动内容团队：把未答清单同步给客服和产品团队。很多未答问题其实是新需求，比如“能不能改配送地址”可能是流程未开放。用清单倒逼业务改进，智能体效果自然提升。
案例：一家电商企业的两周优化
某中小型电商公司部署智能体后，首周转人工率高达35%。通过分析会话日志发现，60%的转人工发生在“订单修改”场景。查看未答清单，发现大量“可以改地址吗”“怎么换货”等问题。
他们做了两件事：第一，在知识库中新增《订单修改完整指南》，并设置同义词“换地址/改配送”触发对应答案；第二，在未答清单中提取出“发票抬头修改”这一高频需求，对接后端系统后开放自助修改功能。第二周转人工率降到18%，平均交互轮数从4.2降至2.1。
建立评估优化循环
效果评估不是一次性工作，建议建立闭环：每周五导出数据，周一完成问题分类与知识库更新，周三验证新答案的命中率，周五复盘调整。同时设定月目标，比如转人工率下降10%，未答率下降15%。小步快跑，数据说话，智能体才能越用越聪明。
记住：日志和未答清单不是垃圾数据，而是你与客户真实需求的对话接口。从今天开始，用它们驱动每一次优化决策。
关于企智社
企智社（湖北栖元汇数字科技有限公司）提供 GEO代运营、企业软件定制开发、支付分账SaaS、AI 智能体 四大服务，帮助企业在中国主流搜索引擎与 AI 大模型（文心一言 / 豆包 / 元宝 / 通义千问）中获得品牌曝光与精准获客。
🎁 免费领取您的品牌 AI 曝光诊断报告
看看豆包 / 文心一言 / 元宝 / 千问，是否在主动推荐您的品牌。留下品牌名，企智社免费为您出一版 AI 曝光体检，含「被引用次数」与「优化建议清单」。
