面壁 Ultra 超级对齐:强壮全球 200 个大模型,超百万月均下载量
好数据,才有好模型。迄今,全球超 200 个大模型基于面壁 Ultra 对齐系列数据集对齐(包括 UltraFeedback 和 UltraChat),月均下载量共计超 100 万。数据集的品质怎么样?这要看大模型的真实战斗力。
在一些「以小博大」的大模型经典对战中,常可以看到面壁 Ultra 对齐数据集的身影,可以说经过了全球大模型的真实验证。
例如,在面壁 Ultra 数据集的加持下,Zephyr-7B 以更小规模,在不少指标上超越了 LLaMA2-70B-Chat;面壁 Ultra 数据集亦帮助「大模型中的小钢炮」面壁 MiniCPM-2B 取得与 Mistral-7B 一较高下惊艳的表现。
面壁 Ultra:领先的对齐技术
为什么对齐技术如此重要?可以说,这是 AGI 进程中最重要的工作之一。就像给大模型带上"紧箍咒",使其目标、价值观、利益等与人类的相一致,并符合设计者的预期,避免产生超出控制的有害后果。
面壁 Ultra 对齐技术(面壁 Ultra Series)集成了一系列大模型对齐(Alignment)世界领先成果,由面壁智能联合清华 NLP 实验室开源,目前包括高质量数据集 UltraFeedback、UltraChat 和大语言模型 UltraLM、UltraRM、UltraCM 等。
Ultra 系列数据集的构建基于团队首次提出的"可扩展多样性"原则。团队认为,数据集规模的持续可扩展与数据中指令和回复的多样性决定了数据的质量。为了实现数据集规模的扩展性,团队在数据集构造全程摒除任何人工干预,整个数据集全部由大模型自动构建。而为了提高多样性与数据质量,团队也设计了一系列方法。
核心数据集:
• UltraFeedback 是首个大规模通用 AI 反馈数据集,首次验证了偏好对齐在开源大模型上的效果。这一大规模、多样化、细粒度的偏好数据集,包括 25 万条对话数据以及相应的偏好标注数据,其中每条偏好标注均包含四个方面的细粒度得分与详细的文字说明。在非社区标注的偏好数据集中,UltraFeedback 数据规模排在首位。
• UltraChat 是高质量对话数据集,包含了 150 余万条多轮指令数据。调用多个 ChatGPT API 相互对话,从而生成多轮对话数据。
技术创新:
为了验证数据集的品质,团队基于 UltraFeedback 训练了一个奖励模型和一个批评模型来进一步辅助模型评测和模型反馈学习:
• UltraRM 奖励模型(Reward Model):旨在区分同一个问题不同回答的好坏,在四个公共偏好测试集上,UltraRM 显著超过其他开源奖励模型,达到了 SOTA 的性能。
• UltraCM 批评模型(Critique Model):用于自动生成文本形式的反馈,在 9 个基准数据集上,UltraCM 优于所有开源 baseline,性能接近 ChatGPT。
• UltraLM 语言模型:基于 UltraChat 数据训练,具有丰富的世界知识和超强的指令理解和跟随能力。其中,UltraLM-13B-v1.0 发布时登顶斯坦福 AlpacaEval 开源模型榜单,UltraLM-13B-v2.0(best-of-16 采样)在 AlpacaEval 榜单取得了 92.30% 的成绩,成为 70B 以下模型最高分。
推动全球大模型对齐研究
在对齐技术流程中,偏好对齐举足轻重。传统偏好对齐数据依赖人工标注,头部公司均收集了几十万、上百万的偏好数据,却鲜有开源。由于缺乏高质量、公开可用的偏好数据集,开源社区在 RLHF 的研究和实践上仍然处于落后状态。
面壁 Ultra 对齐为全球开源社区做出了积极贡献,广受赞誉。Hugging Face 在 2023 年度总结中重点提及了来自 OpenBMB 开源社区的「面壁 Ultra 对齐数据集」,是开源社区发展进程中的重要一笔。
NLP 大牛、HuggingFace 联合创始人 Thomas Wolf 也在推特上发了一篇长文,讲述了一个 Mistral + OpenBMB + HuggingFace 跨越三大洲的大模型开源合作故事。面壁 Ultra 对齐数据集在 Zephyr 模型成长故事中扮演了关键角色。研究模型微调和对齐的 H4 团队表示:使用 OpenBMB 两个数据集训练出来的新模型非常强大,是 H4 团队在伯克利和斯坦福的基准测试中见过的最强模型。
这创造了一次开源神话。如 Thomas Wolf 所言,世界各地对知识、模型、研究和数据集的开放获取,以及人们在 AI 上相互建设、相互借鉴,共同创造出真正有价值的高效开放模型的理念。