6.5 评估与观测体系

AI系统评估框架

┌────────────────────────────────────┐
│            效果评估                 │
│  功能正确性 × 业务价值 × 用户体验    │
├────────────────────────────────────┤
│            性能评估                 │
│  响应速度 × 吞吐量 × 资源消耗       │
├────────────────────────────────────┤
│            安全评估                 │
│  合规性 × 隐私保护 × 风险控制       │
├────────────────────────────────────┤
│            运营评估                 │
│  使用率 × 满意度 × 问题解决率       │
└────────────────────────────────────┘

核心评估指标

效果指标

指标	定义	目标值	测量方法
准确率	正确回答/总回答数	≥85%	测试集评估
召回率	相关文档被召回比例	≥80%	检索测试
答案完整率	回答覆盖用户需求的程度	≥90%	人工抽检
幻觉率	回答中错误信息的比例	≤5%	Bad case分析
拒识准确率	正确拒识无法回答的问题	≥90%	负向测试

性能指标

指标	定义	目标值	测量方法
P50延迟	中位数响应时间	≤1s	系统监控
P99延迟	99分位响应时间	≤3s	系统监控
QPS	每秒查询数	≥50	压测
可用率	系统正常时间比例	≥99.9%	监控

业务指标

指标	定义	目标值	测量方法
问题解决率	AI独立解决问题的比例	≥70%	日志分析
人工接手率	AI转人工的比例	≤30%	日志分析
用户满意度	用户评分（1-5）	≥4.0	调研
使用率	日活用户/总用户	≥50%	用户行为

评估方法

方法一：测试集评估

□ 测试集准备
├── 正向用例（500条）：典型问答
├── 负向用例（100条）：应拒识的问题
└── 边界用例（100条）：复杂/模糊问题

□ 评估流程
1. 准备测试集
2. 批量运行AI系统
3. 人工评估结果
4. 计算各项指标
5. 生成评估报告

方法二：人工抽检

□ 抽检比例
├── 每日随机抽检50-100条
├── 所有P0/P1问题必检
└── 新功能上线100%检

□ 抽检内容
├── 回答是否正确
├── 回答是否完整
├── 格式是否合规
└── Bad case记录

方法三：A/B测试

适用场景：Prompt/模型/知识库优化时，对比新旧版本

A/B测试设计：
- A组：线上旧版本
- B组：新版本（新Prompt/新模型等）
- 时长：至少1周
- 判断标准：B组指标显著优于A组

观测体系搭建

日志体系

□ 记录内容
├── 请求ID、时间、用户ID
├── 输入问题（脱敏）
├── 输出回答
├── 置信度（如有）
├── 检索召回结果（如有）
├── 响应时间
└── 是否转人工

□ 日志等级
├── INFO：正常请求
├── WARNING：置信度低/异常
└── ERROR：系统错误

监控体系

□ 实时监控
├── 系统健康状态
├── API调用量
├── 响应时间
├── 错误率
└── 资源使用率

□ 告警规则
├── P99延迟>5s → P1告警
├── 错误率>1% → P1告警
├── QPS突降>30% → P2告警
└── 系统不可用 → P0告警

仪表盘模板

┌─────────────────────────────────────────────────────┐
│                    AI运营仪表盘                       │
├─────────────────────────────────────────────────────┤
│  今日数据                                            │
│  调用量：12,345次  │  解决率：82%  │  满意度：4.2    │
│  P99延迟：2.1s    │  错误率：0.3% │  人工接手：18%  │
├─────────────────────────────────────────────────────┤
│  趋势图（近7天）                                     │
│  [调用量趋势图] [解决率趋势图] [延迟趋势图]          │
├─────────────────────────────────────────────────────┤
│  问题分布                                            │
│  [问题类型分布饼图]                                  │
├─────────────────────────────────────────────────────┤
│  Top Bad Cases（本周TOP5）                           │
│  1. XXX问题 - 发生12次 - 已优化                     │
│  2. XXX问题 - 发生8次 - 排期中                     │
│  3. XXX问题 - 发生5次 - 待分析                     │
└─────────────────────────────────────────────────────┘