*在线运行 vLLM 入门教程：零基础分步指南

NVIDIA Triton

Triton 推理服务器托管了一个教程，其中演示了如何使用 vLLM 快速部署简单的 facebook/opt-125m 模型。请参阅在 Triton 中部署 vLLM 模型了解更多详情。