跳到内容

OllamaLLM

运行 Async API 客户端的 Ollama LLM 实现。

属性

  • model: 用于 LLM 的模型名称，例如 "notus"。

  • host: Ollama 服务器主机。

  • timeout: LLM 的超时时间。默认为 120。

  • follow_redirects: 是否跟随重定向。默认为 True。

  • structured_output: 包含结构化输出配置的字典，或者如果需要更细粒度的控制，则为 OutlinesStructuredOutput 的实例。默认为 None。

  • tokenizer_id: tokenizer Hugging Face Hub 仓库 ID 或包含 tokenizer 配置文件目录的路径。如果未提供，将使用与 model 关联的 ID。默认为 None。

  • use_magpie_template: 用于启用/禁用应用 Magpie 预查询模板的标志。默认为 False。

  • magpie_pre_query_template: 要应用于提示或发送到 LLM 以生成指令或后续用户消息的预查询模板。有效值为 "llama3"、"qwen2" 或提供的另一个预查询模板。默认为 None。

  • _aclient: 用于 Ollama API 的 AsyncClient。它旨在内部使用。在 load 方法中设置。

运行时参数

  • host: Ollama 服务器主机。

  • timeout: Ollama API 的客户端超时时间。默认为 120。

示例

生成文本

from distilabel.models.llms import OllamaLLM

llm = OllamaLLM(model="llama3")

llm.load()

# Call the model
output = llm.generate(inputs=[[{"role": "user", "content": "Hello world!"}]])