# AgentKit 能力基准测试报告

## 测试概要
- 时间: 2026-06-20T03:18:35.937935+00:00
- 版本: 0.1.0
- 模式: llm
- 运行次数: 1
- 总体准确率: 60.0% ± 0.0%

## 与行业 Benchmark 对比

| Benchmark | 测试对象 | AgentKit 对应 |
|---|---|---|
| SWE-bench | LLM 代码修复 | — (测 LLM 非框架) |
| ToolBench | 工具调用 | tool_search 维度 |
| AgentBench | Agent 系统 | 全部维度 |

## 维度结果

### 9. LLM 推理能力 (LLM Reasoning) [LLM]

| 指标 | 值 |
|---|---|
| Accuracy | 60.0% ± 0.0% |
| 95% CI | [23.1%, 88.2%] |
| Precision | 0.0% |
| Recall | 0.0% |
| F1 | 0.0% |
| Latency p50 | 35309.32ms |
| Latency p95 | 41704.39ms |
| Latency p99 | 42044.76ms |
| Consistency | 100.0% |
| Total / Pass / Fail | 5 / 3 / 2 |

#### 按类别分布

| 类别 | 用例数 | 通过 | 准确率 |
|---|---|---|---|
| intent_understanding | 1 | 0 | 0.0% |
| tool_selection | 1 | 1 | 100.0% |
| multi_step | 1 | 1 | 100.0% |
| code_generation | 1 | 0 | 0.0% |
| error_recovery | 1 | 1 | 100.0% |

#### 按难度分布

| 难度 | 用例数 | 通过 | 准确率 |
|---|---|---|---|
| easy | 1 | 0 | 0.0% |
| medium | 2 | 1 | 50.0% |
| hard | 2 | 2 | 100.0% |

#### 失败用例分析

| 用例 ID | 类别 | 难度 | 期望 | 实际 | 根因 |
|---|---|---|---|---|---|
| llm-001 | intent_understanding | easy | react | timeout | timeout |
| llm-004 | code_generation | medium | react | timeout | timeout |

## 问题总结与改进建议

- **llm_reasoning**: 准确率 60.0% 低于 90%，建议检查失败用例并优化
- **llm_reasoning**: P95 延迟 41704.39ms 较高，建议优化性能