TogetherLLM

TogetherLLM LLM 实现，运行 OpenAI 的异步 API 客户端。

属性

• model: 用于 LLM 的模型名称，例如 "mistralai/Mixtral-8x7B-Instruct-v0.1"。支持的模型可以在这里找到。

• base_url: 用于 Together API 的基本 URL 可以使用 TOGETHER_BASE_URL 设置。默认为 None，这意味着将使用为环境变量 TOGETHER_BASE_URL 设置的值，如果未设置，则使用 "https://api.together.xyz/v1"。

• api_key: 用于验证对 Together API 请求的 API 密钥。默认为 None，这意味着将使用为环境变量 TOGETHER_API_KEY 设置的值，如果未设置，则为 None。

• _api_key_env_var: 用于 API 密钥的环境变量名称。它旨在内部使用。

示例

生成文本

from distilabel.models.llms import AnyscaleLLM

llm = TogetherLLM(model="mistralai/Mixtral-8x7B-Instruct-v0.1", api_key="api.key")

llm.load()

output = llm.generate_outputs(inputs=[[{"role": "user", "content": "Hello world!"}]])