模型适配器
模块内容
vllm.model_executor.models.adapters.**as_embedding_model**(***cls: _T***)**→ _T**
继承现有的 vLLM 模型以支持嵌入。
默认情况下,整个提示的嵌入是从最后一个令牌对应的归一化隐藏状态中提取的。
注意 我们假设原始模型没有添加额外的层;如果不是这种情况,请实现您自己的模型。
vllm.model_executor.models.adapters.**as_classification_model**(***cls: _T***)**→ _T**
继承现有的 vLLM 模型以支持分类。
默认情况下,类别概率是从最后一个令牌对应的 softmax 隐藏状态中提取的。
注意 我们假设分类头是一个单独的线性层,存储为顶层模型的属性 score;如果不是这种情况,请实现您自己的模型。
vllm.model_executor.models.adapters.**as_reward_model**(***cls: _T***)**→ _T**
继承现有的 vLLM 模型以支持奖励建模。
默认情况下,我们直接返回每个令牌的隐藏状态。
注意 我们假设原始模型没有添加额外的层;如果不是这种情况,请实现您自己的模型。