KServe

*在线运行 vLLM 入门教程：零基础分步指南

vLLM 可以与 KServe 一起部署在 Kubernetes 上，实现高度可扩展的分布式模型服务。

请参阅该指南，了解有关将 vLLM 与 KServe 结合使用的更多详细信息。