- 新增 LitellmCacheManager:配置 litellm.cache 全局,三级后端 fallback (RedisSemanticCache -> RedisCache -> InMemoryCache),redisvl lazy import - cache_key 扩展 user_id + kb_acl_hash 参数(安全要求 a/b/e) - gateway 集成:读取 KB caching_disabled flag(安全要求 c),构建带 scope 的 cache_key,命中时 cost=0 - LLMResponse 新增 cache_hit 字段;LLMRequest 新增 cache 参数 - litellm_provider 透传 cache 参数 + 检测 _hidden_params 缓存命中 - 33 个新测试覆盖 13 场景(含 User A != User B 缓存隔离) - 旧 InMemoryLLMCache/RedisLLMCache 保留向后兼容 |
||
|---|---|---|
| .. | ||
| documents | ||
| e2e | ||
| integration | ||
| routes | ||
| tools | ||
| unit | ||
| __init__.py | ||
| conftest.py | ||
| test_routing_chain.py | ||