跳到内容

MistralLLM

Mistral LLM 实现了运行异步 API 客户端。

属性

  • model: 用于 LLM 的模型名称，例如 "mistral-tiny"、"mistral-large" 等。

  • endpoint: 用于 Mistral API 的端点。默认为 "https://api.mistral.ai"。

  • api_key: 用于验证对 Mistral API 请求的 API 密钥。默认为 None，这意味着将使用环境变量 OPENAI_API_KEY 中设置的值，如果未设置则为 None。

  • max_retries: 请求失败时尝试的最大重试次数。默认为 5。

  • timeout: 等待响应的最长时间（秒）。默认为 120。

  • max_concurrent_requests: 要发送的最大并发请求数。默认为 64。

  • structured_output: 一个字典，包含使用 instructor 的结构化输出配置。您可以查看 distilabel.steps.tasks.structured_outputs.instructor 中的 InstructorStructuredOutputType 的字典结构。

  • _api_key_env_var: 用于 API 密钥的环境变量名称。它旨在内部使用。

  • _aclient: 用于 Mistral API 的 Mistral。它旨在内部使用。在 load 方法中设置。

运行时参数

  • api_key: 用于验证对 Mistral API 请求的 API 密钥。

  • max_retries: 请求失败时尝试的最大重试次数。默认为 5。

  • timeout: 等待响应的最长时间（秒）。默认为 120。

  • max_concurrent_requests: 要发送的最大并发请求数。默认为 64。

示例

生成文本

from distilabel.models.llms import MistralLLM

llm = MistralLLM(model="open-mixtral-8x22b")

llm.load()

# Call the model
output = llm.generate(inputs=[[{"role": "user", "content": "Hello world!"}]])

Generate structured data: