UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导

合成数据已经成为了大语言模型进化之路上最重要的一块基石了。

在去年底,有网友扒出前OpenAI首席科学家Ilya曾经在很多场合表示过,LLM的发展不存在数据瓶颈,合成数据可以解决大部分的问题。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图1图片

英伟达高级科学家Jim Fan在看了最近的一批论文后也认为,使用合成数据,再加上传统用于游戏和图像生成的技术思路,可以让LLM完成大幅度的自我进化。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图3图片

而正式提出这个方法的论文,是由来自UCLA的华人团队。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图5图片

论文地址:https://arxiv.org/abs/2401.01335v1

他们通过自我对弈机制(SPIN)生成合成数据,再通过自我微调的方法,不使用新的数据集,让性能较弱的LLM在Open LLM Leaderboard Benchmark上将平均分从58.14提升至63.16。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图7

研究人员提出了一种名为SPIN的自我微调的方法,通过自我对弈的方式——LLM与其前一轮迭代版本进行对抗,从而逐步提升语言模型的性能。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图9图片

这样就无需额外的人类标注数据或更高级语言模型的反馈,也能完成模型的自我进化。

主模型和对手模型的参数完全一致。用两个不同的版本进行自我对弈。

对弈过程用公式可以概括为:

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图11图片

自我对弈的训练方式,总结起来思路大概是这样:

通过训练主模型来区分对手模型生成的响应和人类目标响应,对手模型是轮迭代获得的语言模型,目标是生成尽可能难以区分的响应。

假设第t轮迭代得到的语言模型参数为θt,则在第t+1轮迭代中,使用θt作为对手玩家,针对监督微调数据集中每个prompt x,使用θt生成响应y’。

然后优化新语言模型参数θt+1,使其可以区分y’和监督微调数据集中人类响应y。如此可以形成一个渐进的过程,逐步逼近目标响应分布。

这里,主模型的损失函数采用对数损失,考虑y和y’的函数值差。

对手模型加入KL散度正则化,防止模型参数偏离太多。

具体的对抗博弈训练目标如公式4.7所示。从理论分析可以看出,当语言模型的响应分布等于目标响应分布时,优化过程收敛。

如果使用对弈之后生成的合成数据进行训练,再使用SPIN进行自我微调,能有效提高LLM的性能。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图13图片

但之后在初始的微调数据上再次简单地微调却又会导致性能下降。

而SPIN仅需要初始模型本身和现有的微调数据集,就能使得LLM通过SPIN获得自我提升。

特别是,SPIN甚至超越了通过DPO使用额外的GPT-4偏好数据训练的模型。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图15图片

而且实验还表明,迭代训练比更多epoch的训练能更加有效地提升模型性能。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图17图片

延长单次迭代的训练持续时间不会降低SPIN的性能,但会达到极限。

迭代次数越多,SPIN的效果的就越明显。

网友在看完这篇论文之后感叹:

合成数据将主宰大语言模型的发展,对于大语言模型的研究者来说将会是非常好的消息!

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图19图片

自我对弈让LLM能不断提高

具体来说,研究人员开发的SPIN系统,是由两个相互影响的模型相互促进的系统。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图21表示的前一次迭代t的LLM,研究人员使用它来生成对人工注释的SFT数据集中的提示x的响应y。

接下来的目标是找到一个新的LLMUCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图23,能够区分UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图25生成的响应y和人类生成的响应y’。

这个过程可以看作是一个两人游戏:

主要玩家或新的LLMUCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图27试图辨别对手玩家的响应和人类生成的响应,而对手或旧的LLMUCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图29生成响应与人工注释的SFT数据集中的数据尽可能相似。

通过对旧的UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图31进行微调而获得的新LLMUCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图33更喜欢UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图35的响应,从而产生与UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图37更一致的分布UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图39

在下一次迭代中,新获得的LLMUCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图41成为响应生成的对手,自我对弈过程的目标是LLM最终收敛到UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图43,使得最强的LLM不再能够区分其先前生成的响应版本和人类生成的版本。

如何使用SPIN提升模型性能

研究人员设计了个两人游戏,其中主要模型的目标是区分LLM生成的响应和人类生成的响应。与此同时,对手的作用是产生与人类的反应无法区分的反应。研究人员的方法的核心是训练主要模型。

首先说明如何训练主要模型来区分LLM的回复和人类的回复。

研究人员方法的核心是自我博弈机制,其中主玩家和对手都是相同的LLM,但来自不同的迭代。

更具体地说,对手是上一次迭代中的旧LLM,而主玩家是当前迭代中要学习的新LLM。在迭代t+1时包括以下两个步骤:(1)训练主模型,(2)更新对手模型。

训练主模型

首先,研究人员将说明如何训练主玩家区分LLM反应和人类反应。受积分概率度量(IPM)的启发,研究人员制定了目标函数:

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图45图片

更新对手模型

对手模型的目标是找到更好的LLM,使其产生的响应与主模型的p数据无异。

实验

SPIN有效提升基准性能

研究人员使用HuggingFace Open LLM Leaderboard作为广泛的评估来证明 SPIN的有效性。

在下图中,研究人员将经过0到3次迭代后通过SPIN微调的模型与基本模型zephyr-7b-sft-full的性能进行了比较。

研究人员可以观察到,SPIN通过进一步利用SFT数据集,在提高模型性能方面表现出了显着的效果,而基础模型已经在该数据集上进行了充分的微调。

在第0次迭代中,模型响应是从zephyr-7b-sft-full生成的,研究人员观察到平均得分总体提高了2.66%。

在TruthfulQA和GSM8k基准测试中,这一改进尤其显着,分别提高了超过5%和10%。

在迭代1中,研究人员采用迭代0中的LLM模型来生成SPIN的新响应,遵循算法1中概述的过程。

此迭代平均产生1.32%的进一步增强,在Arc Challenge和TruthfulQA基准测试中尤其显着。

随后的迭代延续了各种任务增量改进的趋势。同时,迭代t+1时的改进自然更小

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图47图片

zephyr-7b-beta是从zephyr-7b-sft-full衍生出来的模型,使用DPO在大约62k个偏好数据上训练而成。

研究人员注意到,DPO需要人工输入或高级语言模型反馈来确定偏好,因此数据生成是一个相当昂贵的过程。

相比之下,研究人员的SPIN只需要初始模型本身就可以。

此外,与需要新数据源的DPO不同,研究人员的方法完全利用现有的SFT数据集。

下图显示了SPIN在迭代0和1(采用50k SFT数据)与DPO训练的性能比较。

UCLA华人提出全新自我对弈机制!LLM自己训自己,效果碾压GPT-4专家指导插图49图片

研究人员可以观察到,虽然DPO利用了更多新来源的数据,但基于现有SFT数据的SPIN从迭代1开始,SPIN甚至超过了DPO的性能、SPIN在排行榜基准测试中的表现甚至超过了DPO。

参考资料:

https://arxiv.org/abs/2401.01335v1

文章来源:51cto

联系邮箱:idea2003@foxmail.com

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注