AnyscaleLLM

Anyscale LLM 实现，运行 OpenAI 的异步 API 客户端。

属性

• model: 用于 LLM 的模型名称，例如 google/gemma-7b-it。 请参阅此处 “文本生成 -> 支持的模型” 部分下支持的模型。

• base_url: 用于 Anyscale API 请求的基本 URL。默认为 None，这意味着将使用为环境变量 ANYSCALE_BASE_URL 设置的值，如果未设置，则使用“https://api.endpoints.anyscale.com/v1”。

• api_key: 用于验证对 Anyscale API 请求的 API 密钥。默认为 None，这意味着将使用为环境变量 ANYSCALE_API_KEY 设置的值，如果未设置，则为 None。

• _api_key_env_var: 用于 API 密钥的环境变量名称。 它旨在内部使用。

示例

生成文本

from distilabel.models.llms import AnyscaleLLM

llm = AnyscaleLLM(model="google/gemma-7b-it", api_key="api.key")

llm.load()

output = llm.generate_outputs(inputs=[[{"role": "user", "content": "Hello world!"}]])