# AgentKit 能力基准测试报告

## 测试概要
- 时间: 2026-06-20T11:05:39.446588+00:00
- 版本: 0.1.0
- 模式: llm
- 运行次数: 3
- 总体准确率: 93.3% ± 0.0%

## 与行业 Benchmark 对比

| Benchmark | 测试对象 | AgentKit 对应 |
|---|---|---|
| SWE-bench | LLM 代码修复 | — (测 LLM 非框架) |
| ToolBench | 工具调用 | tool_search 维度 |
| AgentBench | Agent 系统 | 全部维度 |

## 维度结果

### 9. LLM 推理能力 (LLM Reasoning) [LLM]

| 指标 | 值 |
|---|---|
| Accuracy | 93.3% ± 9.4% |
| 95% CI | [37.5%, 96.4%] |
| Precision | 0.0% |
| Recall | 0.0% |
| F1 | 0.0% |
| Latency p50 | 40798.45ms |
| Latency p95 | 56307.93ms |
| Latency p99 | 59262.53ms |
| Consistency | 100.0% |
| Total / Pass / Fail | 5 / 4 / 1 |

#### 按类别分布

| 类别 | 用例数 | 通过 | 准确率 |
|---|---|---|---|
| intent_understanding | 1 | 1 | 100.0% |
| tool_selection | 1 | 0 | 0.0% |
| multi_step | 1 | 1 | 100.0% |
| code_generation | 1 | 1 | 100.0% |
| error_recovery | 1 | 1 | 100.0% |

#### 按难度分布

| 难度 | 用例数 | 通过 | 准确率 |
|---|---|---|---|
| easy | 1 | 1 | 100.0% |
| medium | 2 | 1 | 50.0% |
| hard | 2 | 2 | 100.0% |

#### 失败用例分析

| 用例 ID | 类别 | 难度 | 期望 | 实际 | 根因 |
|---|---|---|---|---|---|
| llm-002 | tool_selection | medium | react | timeout | timeout |

## 问题总结与改进建议

- **llm_reasoning**: 准确率 80.0% 低于 90%，建议检查失败用例并优化
- **llm_reasoning**: P95 延迟 56307.93ms 较高，建议优化性能