兼容矩阵

*在线运行 vLLM 入门教程：零基础分步指南

下表展示了互斥特性和对某些硬件的支持

以下为所使用符号的含义：

• ✅ = 完全兼容
• 🟠 = 部分兼容
• ❌ = 不兼容

注意

检查 ❌ 或 🟠 的连接，查看不支持功能、硬件组合的问题的进展。

功能 x 功能

功能	CP	APC	LoRA	prmpt adptr	SD	CUDA graph	pooling	enc-dec	logP	prmpt logP	async output	multi-step	mm	best-of	beam-search	guided dec
CP	✅
APC	✅	✅
LoRA	✅	✅	✅
prmpt adptr	✅	✅	✅	✅
SD	✅	✅	❌	✅	✅
CUDA graph	✅	✅	✅	✅	✅	✅
pooling	❌	❌	❌	❌	❌	❌	✅
enc-dec	❌	❌	❌	❌	❌	✅	✅	✅
logP	✅	✅	✅	✅	✅	✅	❌	✅	✅
prmpt logP	✅	✅	✅	✅	✅	✅	❌	✅	✅	✅
async output	✅	✅	✅	✅	❌	✅	❌	❌	✅	✅	✅
multi-step	❌	✅	❌	✅	❌	✅	❌	❌	✅	✅	✅	✅
mm	✅	🟠	🟠	❔	❔	✅	✅	✅	✅	✅	✅	❔	✅
best-of	✅	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	✅	✅
beam-search	✅	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	❔	✅	✅
guided dec	✅	✅	❔	❔	❌	✅	❌	❔	✅	✅	✅	❌	❔	✅	✅	✅

功能 x 硬件

Feature	Volta	Turing	Ampere	Ada	Hopper	CPU	AMD
CP	❌	✅	✅	✅	✅	✅	✅
APC	❌	✅	✅	✅	✅	✅	✅
LoRA	✅	✅	✅	✅	✅	✅	✅
prmpt adptr	✅	✅	✅	✅	✅	❌	✅
SD	✅	✅	✅	✅	✅	✅	✅
CUDA graph	✅	✅	✅	✅	✅	❌	✅
pooling	✅	✅	✅	✅	✅	✅	❔
enc-dec	✅	✅	✅	✅	✅	✅	❌
mm	✅	✅	✅	✅	✅	✅	✅
logP	✅	✅	✅	✅	✅	✅	✅
prmpt logP	✅	✅	✅	✅	✅	✅	✅
async output	✅	✅	✅	✅	✅	❌	❌
multi-step	✅	✅	✅	✅	✅	❌	✅
best-of	✅	✅	✅	✅	✅	✅	✅
beam-search	✅	✅	✅	✅	✅	✅	✅
guided dec	✅	✅	✅	✅	✅	✅	✅