# SimpleRouter 回测报告

created: 2026-06-16

## 回测结果

### 路由准确率

| 指标 | 结果 |
|------|------|
| 总测试用例 | 24 |
| 通过 | 24 |
| 失败 | 0 |
| **准确率** | **100%** |

### 分类明细

| 分类 | 用例数 | 通过 | 准确率 |
|------|-------|------|--------|
| 问候/闲聊 → DIRECT_CHAT | 4 | 4 | 100% |
| 口语化工具查询 → REACT | 5 | 5 | 100% |
| 标准工具查询 → REACT | 5 | 5 | 100% |
| 翻译/知识 → REACT | 3 | 3 | 100% |
| 复杂查询 → REACT | 3 | 3 | 100% |
| @skill 前缀 → SKILL_REACT | 1 | 1 | 100% |

### 口语化查询覆盖（核心改进）

| 输入 | 旧架构结果 | 新架构结果 |
|------|-----------|-----------|
| "查下ip" | direct_agent (误判) | REACT ✓ |
| "查看当前ip" | direct_agent (误判) | REACT ✓ |
| "获取ip地址" | direct_agent (误判) | REACT ✓ |
| "看下ip" | direct_agent (误判) | REACT ✓ |
| "帮我查一下ip" | direct_agent (误判) | REACT ✓ |

### 改写一致性

| 测试组 | 原始说法 | 改写说法数 | 一致性 |
|--------|---------|-----------|--------|
| ip_check_variants | "查看当前ip" | 5 | 100% |
| search_variants | "搜索golang教程" | 3 | 100% |

## 与旧架构对比

| 指标 | CostAwareRouter (旧) | SimpleRouter (新) |
|------|---------------------|-------------------|
| 执行模式准确率 | 40.38% | **100%** |
| 口语化查询成功率 | 30% | **100%** |
| 路由层 LLM 调用 | 1次/查询 | **0次/查询** |
| 路由层延迟 | ~500ms | **<1ms** |
| 路由层 token 消耗 | ~1000 tokens | **0 tokens** |

## 注意事项

1. 翻译/知识类查询现在走 REACT（LLM 看到工具但决定不使用），比旧架构多消耗约 2000 tokens（工具描述）
2. 这是可靠性换 token 的权衡，可接受
3. 后续可通过模型能力检测优化：支持 function calling 的模型用 API tools，不支持才用 prompt-based