vLLM 与 PagedAttention

vLLM 于 2023 年出自 UC Berkeley，瞄准一个核心痛点：传统推理系统浪费大量 KV 缓存显存。由于对话缓存会持续增长、且无法预知输出长度，旧系统往往预先预留大块连续显存。研究显示，原有系统浪费了 60%–80% 的显存，直接限制了单卡能容纳的请求数。

vLLM 的解法是 PagedAttention：把 KV 缓存切分成固定大小的小块，像操作系统管理虚拟内存分页一样，分散存放在 GPU 显存的任意位置。显存随序列增长按需分配，而非提前预留——于是同一张 GPU 可以同时服务更多请求。如今分页式 KV 缓存管理已成为现代推理引擎的标配（SGLang 也不例外）。

适用场景与生态

• 面向高吞吐、并发优先的在线推理服务；
• Red Hat 是 vLLM 最大的企业贡献者，社区规模与生态成熟；
• 2025 年加入 PyTorch 基金会成为托管项目，已通过严格的生产可用与治理审查；
• 提供 recipes 一键部署，覆盖 NVIDIA 与 AMD GPU。

可调优能力

连续批处理（continuous batching）、前缀缓存（prefix caching）、分块预填充（chunked prefill）、结构化输出（JSON/文法约束）、投机解码（speculative decoding）、量化（quantization）、多加速器分布式执行（distributed execution）。新模型通常支持 Day-0 上线。