KubeAI

*在线运行 vLLM 入门教程：零基础分步指南

KubeAI 是一个 Kubernetes 操作符，使您能够在 Kubernetes 上部署和管理 AI 模型。它提供了一种简单且可扩展的方式在生产环境中部署 vLLM。诸如从零扩展、基于负载的自动扩展、模型缓存等功能，开箱即用，无需外部依赖。

有关特定于环境的说明，请参阅安装指南：

• 任何 Kubernetes 集群
• EKS
• GKE

安装 KubeAI 后，您可以使用 vLLM 配置文本生成模型。