vLLMEmbeddings¶
用于嵌入生成的 vllm 库实现。
属性¶
-
model: 模型 Hugging Face Hub repo id 或包含模型权重和配置文件的目录路径。
-
dtype: 用于模型的数据类型。默认为
auto。 -
trust_remote_code: 加载模型时是否信任远程代码。默认为
False。 -
quantization: 用于模型的量化模式。默认为
None。 -
revision: 要加载的模型修订版本。默认为
None。 -
enforce_eager: 是否强制执行 eager 执行。默认为
True。 -
seed: 用于随机数生成器的种子。默认为
0。 -
extra_kwargs: 将传递给
vllm库的LLM类的其他关键字参数字典。默认为{}。 -
_model:
vLLM模型实例。此属性供内部使用，不应直接访问。它将在load方法中设置。
示例¶
生成句子嵌入¶
from distilabel.models import vLLMEmbeddings
embeddings = vLLMEmbeddings(model="intfloat/e5-mistral-7b-instruct")
embeddings.load()
results = embeddings.encode(inputs=["distilabel is awesome!", "and Argilla!"])
# [
# [-0.05447685346007347, -0.01623094454407692, ...],
# [4.4889533455716446e-05, 0.044016145169734955, ...],
# ]