LlamaIndex

*在线运行 vLLM 入门教程：零基础分步指南

vLLM 也可通过 LlamaIndex 获取。

运行下面命令安装 LlamaIndex：

pip install llama-index-llms-vllm -q

如需使用单个或多个 GPU 进行推理，请使用 llamaindex 中的 VLLM 类。

from llama_index.llms.vllm import Vllm


llm = Vllm(
    model="microsoft/Orca-2-7b",
    tensor_parallel_size=4,
    max_new_tokens=100,
    vllm_kwargs={"swap_space": 1, "gpu_memory_utilization": 0.5},
)

请参阅该教程获取更多详细信息。