LLMs 库

• AnthropicLLM

  ---

  运行 Async API 客户端的 Anthropic LLM 实现。

  AnthropicLLM

• OpenAILLM

  ---

  运行 async API 客户端的 OpenAI LLM 实现。

  OpenAILLM

• AnyscaleLLM

  ---

  运行 OpenAI 的 async API 客户端的 Anyscale LLM 实现。

  AnyscaleLLM

• AzureOpenAILLM

  ---

  运行 async API 客户端的 Azure OpenAI LLM 实现。

  AzureOpenAILLM

• TogetherLLM

  ---

  运行 OpenAI 的 async API 客户端的 TogetherLLM LLM 实现。

  TogetherLLM

• ClientvLLM

  ---

  用于 vLLM 服务器的客户端，实现了 OpenAI API 规范。

  ClientvLLM

• CohereLLM

  ---

  Cohere API 实现，使用异步客户端进行并发文本生成。

  CohereLLM

• GroqLLM

  ---

  Groq API 实现，使用异步客户端进行并发文本生成。

  GroqLLM

• InferenceEndpointsLLM

  ---

  运行 async API 客户端的 InferenceEndpoints LLM 实现。

  InferenceEndpointsLLM

• LiteLLM

  ---

  运行 async API 客户端的 LiteLLM 实现。

  LiteLLM

• MistralLLM

  ---

  运行 async API 客户端的 Mistral LLM 实现。

  MistralLLM

• MixtureOfAgentsLLM

  ---

  Mixture-of-Agents 实现。

  MixtureOfAgentsLLM

• OllamaLLM

  ---

  运行 Async API 客户端的 Ollama LLM 实现。

  OllamaLLM

• VertexAILLM

  ---

  运行 Gemini 的 async API 客户端的 VertexAI LLM 实现。

  VertexAILLM

• TransformersLLM

  ---

  Hugging Face transformers 库 LLM 实现，使用文本生成

  TransformersLLM

• LlamaCppLLM

  ---

  llama.cpp LLM 实现，运行 C++ 代码的 Python 绑定。

  LlamaCppLLM

• MlxLLM

  ---

  Apple MLX LLM 实现。

  MlxLLM

• vLLM

  ---

  vLLM 库 LLM 实现。

  vLLM