LiteLLM

运行异步 API 客户端的 LiteLLM 实现。

属性

• model: 用于 LLM 的模型名称，例如 "gpt-3.5-turbo" 或 "mistral/mistral-large" 等。

• verbose: 是否记录 LiteLLM 客户端的日志。默认为 False。

• structured_output: 一个字典，包含使用 instructor 的结构化输出配置。您可以查看 distilabel.steps.tasks.structured_outputs.instructor 中的 InstructorStructuredOutputType 的字典结构。

运行时参数

• verbose: 是否记录 LiteLLM 客户端的日志。默认为 False。

示例

生成文本

from distilabel.models.llms import LiteLLM

llm = LiteLLM(model="gpt-3.5-turbo")

llm.load()

# Call the model
output = llm.generate(inputs=[[{"role": "user", "content": "Hello world!"}]])

Generate structured data: