LLM Inputs
vllm.inputs.PromptType
Union[str, TextPrompt, TokensPrompt, ExplicitEncoderDecoderPrompt] 的别名
class vllm.inputs.TextPrompt
Bases: TypedDict
文本提示的模式。
prompt_: str
传递给模型之前需要分词处理的输入文本。
multi_modal_data_: NotRequired[MultiModalDataDict]
可选的多模态数据，如果模型支持，可以传递给模型。
mm_processor_kwargs_: NotRequired[dict[str, Any]]
可选的多模态处理器参数，将传递给多模态输入映射器和处理器。注意，如果多个模态为当前模型注册了映射器等，会尝试将mm_processor_kwargs传递给每个模态。
class vllm.inputs.TokensPrompt
Bases: TypedDict
分词后提示的模式。
传递给模型的 token ID 列表。
token_type_ids_: NotRequired[list[int]]
传递给交叉编码器模型的 token 类型 ID 列表。
multi_modal_data_: NotRequired[MultiModalDataDict]
可选的多模态数据，如果模型支持，可以传递给模型。
mm_processor_kwargs_: NotRequired[dict[str, Any]]
可选的多模态处理器参数，将传递给多模态输入映射器和处理器。注意，如果多个模态为当前模型注册了映射器等，会尝试将mm_processor_kwargs传递给每个模态。