README
KVReuse
KV cache 复用、跨模型传输、稀疏加载与多智能体 handoff 的研究工作区快照。仓库按方法拆分， 每个子项目维护自己的依赖和配置，不共享顶层 Python 环境。
项目目录
| 目录 | 内容 | 配置与入口 |
|---|---|---|
CrossKV/ | 闭式跨模型 KV cache 映射复现及 agent handoff 扩展 | .env.example、configs/、pyproject.toml |
SparseCache/ | 稀疏 KV 加载、query-aware page store 与实验矩阵 | configs/、pyproject.toml、requirements-eval.txt |
headkv/ | TopoKV / head-aware 跨模型 KV transport | configs/、pyproject.toml；C2C 基线配置位于 C2C/recipe/ |
CacheDraft/ | KV reuse 与 speculative decoding/repair 的实验代码 | experiments/、docs/；第三方依赖位于 third_party/ |
KVPacket/ | KV packet 编码、训练和 handoff 任务 | pyproject.toml、tasks/、examples/ |
LMCache/ | LMCache 及本地 query-aware KV 扩展 | pyproject.toml、requirements/、examples/ |
CacheBlend/ | CacheBlend 复现与本地适配 | requirements.txt、example/、vllm_blend/pyproject.toml |
CacheGen/ | CacheGen 复现 | env.yaml、scripts/、各 run_*.py |
KVCOMM/ | 多智能体 KV communication 复现与扩展 | requirements.txt、KVCOMM/llm/config.py、experiments/ |
KVEraser/ | KV cache context editing 复现 | requirements.txt、train.py、evaluate_*.py |
vllm/ | query-aware KV 实验使用的 vLLM 工作树 | pyproject.toml、requirements/、相关示例与测试 |
研究结论和已完成实验的汇总见 REPRODUCTION_STATUS.md，当前方法构想见
my_idea.md。第三方工作树的上游地址和固定 revision 见
UPSTREAMS.md。
使用方式
克隆后进入需要的方法目录，并严格使用该目录自己的 README、依赖文件和配置：
git clone https://github.com/forlight123/KVReuse.git
cd KVReuse/CrossKV
cp .env.example .env
uv sync --frozen --extra test --extra evaluation
uv run pytest -q
例如 SparseCache 和 headkv 也分别从自己的 pyproject.toml 创建环境。不要在顶层安装所有项目的
依赖：不同论文复现固定了不同的 PyTorch、Transformers、vLLM 和 CUDA 版本。
未纳入仓库的内容
以下内容仍保留在本地工作区，但不会上传：
- 模型 checkpoint、训练权重、activation/memmap、拟合后的 mapper；
results/、outputs/、artifacts/、work/、日志和 profiling 结果；- 虚拟环境、编译生成的 CUDA/Rust/Python 扩展和打包产物；
- 本地数据集、输入 corpus、缓存以及论文 PDF。
配置文件和文档中的结果路径是复现实验记录；实际运行时请通过对应 CLI 参数、YAML/JSON 或
.env 替换为自己的模型、数据、设备与输出位置。
仓库结构说明
本仓库为了便于一次性获取全部实现，将原本的嵌套 Git 工作树发布为普通目录，而不是 Git submodule。各目录保留自己的许可证和署名；顶层仓库不改变第三方项目原有的许可条款。
Contributors
2 commits
Similar repos
Languages
Python
77.7%
HTML
9.2%
Cuda
4.0%
Rust
2.7%
C++
2.6%
Shell
1.3%
Jupyter Notebook
1.0%
README
KVReuse
KV cache 复用、跨模型传输、稀疏加载与多智能体 handoff 的研究工作区快照。仓库按方法拆分， 每个子项目维护自己的依赖和配置，不共享顶层 Python 环境。
项目目录
| 目录 | 内容 | 配置与入口 |
|---|---|---|
CrossKV/ | 闭式跨模型 KV cache 映射复现及 agent handoff 扩展 | .env.example、configs/、pyproject.toml |
SparseCache/ | 稀疏 KV 加载、query-aware page store 与实验矩阵 | configs/、pyproject.toml、requirements-eval.txt |
headkv/ | TopoKV / head-aware 跨模型 KV transport | configs/、pyproject.toml；C2C 基线配置位于 C2C/recipe/ |
CacheDraft/ | KV reuse 与 speculative decoding/repair 的实验代码 | experiments/、docs/；第三方依赖位于 third_party/ |
KVPacket/ | KV packet 编码、训练和 handoff 任务 | pyproject.toml、tasks/、examples/ |
LMCache/ | LMCache 及本地 query-aware KV 扩展 | pyproject.toml、requirements/、examples/ |
CacheBlend/ | CacheBlend 复现与本地适配 | requirements.txt、example/、vllm_blend/pyproject.toml |
CacheGen/ | CacheGen 复现 | env.yaml、scripts/、各 run_*.py |
KVCOMM/ | 多智能体 KV communication 复现与扩展 | requirements.txt、KVCOMM/llm/config.py、experiments/ |
KVEraser/ | KV cache context editing 复现 | requirements.txt、train.py、evaluate_*.py |
vllm/ | query-aware KV 实验使用的 vLLM 工作树 | pyproject.toml、requirements/、相关示例与测试 |
研究结论和已完成实验的汇总见 REPRODUCTION_STATUS.md，当前方法构想见
my_idea.md。第三方工作树的上游地址和固定 revision 见
UPSTREAMS.md。
使用方式
克隆后进入需要的方法目录，并严格使用该目录自己的 README、依赖文件和配置：
git clone https://github.com/forlight123/KVReuse.git
cd KVReuse/CrossKV
cp .env.example .env
uv sync --frozen --extra test --extra evaluation
uv run pytest -q
例如 SparseCache 和 headkv 也分别从自己的 pyproject.toml 创建环境。不要在顶层安装所有项目的
依赖：不同论文复现固定了不同的 PyTorch、Transformers、vLLM 和 CUDA 版本。
未纳入仓库的内容
以下内容仍保留在本地工作区，但不会上传：
- 模型 checkpoint、训练权重、activation/memmap、拟合后的 mapper；
results/、outputs/、artifacts/、work/、日志和 profiling 结果；- 虚拟环境、编译生成的 CUDA/Rust/Python 扩展和打包产物；
- 本地数据集、输入 corpus、缓存以及论文 PDF。
配置文件和文档中的结果路径是复现实验记录；实际运行时请通过对应 CLI 参数、YAML/JSON 或
.env 替换为自己的模型、数据、设备与输出位置。
仓库结构说明
本仓库为了便于一次性获取全部实现，将原本的嵌套 Git 工作树发布为普通目录，而不是 Git submodule。各目录保留自己的许可证和署名；顶层仓库不改变第三方项目原有的许可条款。
Similar repos
Contributors
2 commits
Languages
Python
77.7%
HTML
9.2%
Cuda
4.0%
Rust
2.7%
C++
2.6%
Shell
1.3%
Jupyter Notebook
1.0%