Distilabel

为 AI 合成数据并动态添加反馈！

Distilabel 是一个为合成数据和 AI 反馈而生的框架，专为需要基于已验证的研究论文构建快速、可靠且可扩展的 pipelines 的工程师而设计。

• 5 分钟开始使用！

  ---

  使用 pip 安装 distilabel 并运行您的第一个 Pipeline 来生成和评估合成数据。

  快速入门

• 操作指南

  ---

  熟悉 distilabel 的基础知识。 学习如何定义 steps、tasks 和 llms 并运行您的 Pipeline。

  了解更多

为什么使用 distilabel？

Distilabel 可用于为各种项目生成合成数据和 AI 反馈，包括传统的预测性 NLP（分类、提取等）或生成式和大型语言模型场景（指令跟随、对话生成、判断等）。 Distilabel 的程序化方法允许您构建可扩展的 pipelines，用于数据生成和 AI 反馈。 Distilabel 的目标是通过基于已验证的研究方法快速生成高质量、多样化的数据集，以进行 AI 反馈的生成和判断，从而加速您的 AI 开发。

通过数据质量提高您的 AI 输出质量

计算成本很高，输出质量很重要。 我们帮助您 专注于数据质量，这同时解决了这两个问题的根本原因。 Distilabel 帮助您合成和判断数据，让您将宝贵的时间花在 为您的合成数据实现和保持高质量标准 上。

掌控您的数据和模型

拥有用于微调您自己的 LLM 的数据 并非易事，但 distilabel 可以帮助您入门。 我们使用统一的 API 集成了来自任何 LLM 提供商的 AI 反馈。

通过在正确的数据和模型上快速迭代来提高效率

使用最新的研究论文合成和判断数据，同时确保灵活性、可扩展性和容错性。 这样您就可以专注于改进您的数据和训练您的模型。

人们使用 distilabel 构建什么？

Argilla 社区使用 distilabel 创建了惊人的 数据集 和 模型。

• 1M OpenHermesPreference 是一个约 100 万个 AI 偏好的数据集，这些偏好来源于 teknium/OpenHermes-2.5。 它展示了我们如何使用 Distilabel 大规模合成数据。
• 我们的 distilabeled Intel Orca DPO 数据集 和 改进的 OpenHermes 模型 展示了我们如何通过 AI 反馈 过滤掉原始数据集的 50% 来 提高模型性能。
• haiku DPO 数据 概述了任何人如何创建 用于特定任务的数据集 和 最新的研究论文，以提高数据集的质量。