paged-attention 开源项目推荐（135 个）

xlite-dev /Awesome-LLM-Inference

📚A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉

pegainfer-project /pegainfer

纯 Rust + CUDA 的大语言模型推理引擎——无需 PyTorch，兼容 OpenAI，可服务从 Qwen3 到 Kimi-K2 的模型

zengxiao-he /tessera

从教师到瓦片-从头开始的LLM蒸馏和服务引擎：自定义Triton/CUDA内核、FSDP蒸馏、页面KV连续收件箱、推测性解码、Rust网关、JAX Oracle和可解释性工具。

localai-org /vllm.cpp

面向社区的 1:1、类 vLLM（连续批处理、分页 KV）的 C++ 引擎，并带有额外功能（GGUF、RadixAttention、缓存感知调度等）

lumia431 /photon_infer

具备 vLLM 风格连续批处理的高性能大语言模型推理引擎

feiguangba /minivllm

图解 vLLM 推理引擎：100 课动手练习册 + 约 500 行可运行的迷你推理引擎 | 一门图解式、动手实践的 vLLM 工作原理课程

sidmanale643 /helios

面向 Qwen3-4B 的小型、易读 PyTorch 推理引擎，支持连续批处理、原生分页注意力、前缀缓存以及兼容 OpenAI 的聊天补全 API。

aiha-lab /tangram

基于 vLLM 构建的高吞吐量大语言模型服务引擎，支持非均匀 KV 缓存压缩

intutic /turing

高吞吐量大语言模型服务运行时，可在单块 24GB GPU（RTX 4090/L4）上运行前沿 70B–753B 模型。具备 75% KV 压缩、57% 子空间激活剪枝，以及 OpenAI + Anthropic 双 API。

awesome-pro /miniserve

微型大语言模型服务运行时，支持连续批处理、分块预填充、KV 缓存管理、抢占、前缀缓存，并可实际执行 Llama 系列模型。

VARUN3WARE /Paged-Attention

实现 vLLM 论文中的 PagedAttention——一种将 KV 缓存视作虚拟内存的突破性注意力算法。它消除内存碎片、增大批大小，并显著提升大语言模型服务吞吐量。

achi9629 /llm-inference-engine

用 PyTorch 从零构建的大语言模型推理引擎，包含自定义 GPT2 Transformer、KV 缓存、分页 KV 缓存、连续批处理和 A100 基准测试

StevenWang-CY /SILKern.

面向 Apple silicon（MLX/Metal）和 CUDA/Triton 的确定性稀疏索引定位，具备稳定排序、Python 参考基准和可复现证据。

vermasarthak /pagedserve

实验性大语言模型服务系统参考实现，包含分页内存管理、连续批处理和张量分区模拟。

Prajwal7-2002 /mini-infer

极简、教学用途的连续批处理大语言模型推理引擎，使用纯 PyTorch 实现，面向 Qwen2.5，具备分页 KV 缓存、前缀缓存和推测解码。

tatavishnurao /LatentPagedAttention-rs

Rust + cuTile 研究原型，用于分页潜在缓存的大语言模型解码注意力，已在 RTX 4060 上验证。

pjdurden /nanoserve

从零构建的 AI 推理引擎。类似 nanoGPT，但面向服务。

RubensZimbres /TPU_Inference

用于测量 vLLM TPU Ragged Paged Attention v3 内核中滑动窗口注意力额外开销的测量框架：TPU v6e 上 Gemma 4 31B 的每层解码成本、块大小控制、吞吐量和有效吞吐量。

iFurySt /nanoLLMServe

微型、易读的大语言模型服务引擎，具备 vLLM/SGLang 风格的功能。

Poseidon-fan /zephyr

为学习目的从零构建的纯 C++ 大语言模型推理引擎，不依赖外部张量或推理框架。