大羊驼、羊驼、小羊驼和ChatGPT比差在哪儿?CMU副教授测评了7个类ChatGPT大模型...
来源 :机器之心
大语言模型「七雄争霸」,看谁拔得了头筹。
大型语言模型(LLM)正在风靡全球,它们的一个重要应用就是聊天,并在问答、客服和其他许多方面都有应用。然而,聊天机器人是出了名的难以评估。究竟这些模型在什么情况下最好用,我们目前尚不明晰。因此,LLM 的测评非常重要。
此前一位名叫 Marco Tulio Ribeiro 的 Medium 博主在一些复杂任务上对 Vicuna-13B、MPT-7b-Chat 和 ChatGPT 3.5 进行了测试。结果表明,Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品,而 MPT 还没有准备好在现实世界中使用。
近日,CMU 副教授 Graham Neubig 对已有七种聊天机器人进行了详细测评,并制作了一个实现自动比较的开源工具,最后形成了一份测评报告。
在这份报告中,测评者展示了一些聊天机器人的初步评估、比较结果,目的是让人们更容易地了解最近出现的所有开源模型以及基于 API 的模型现状。
具体来说,测评者创建了一个新的开源工具包 ——Zeno Build,用于评估 LLM。该工具包结合了:(1)通过 Hugging Face 或在线 API 使用开源 LLM 的统一界面;(2)使用 Zeno 浏览和分析结果的在线界面,以及(3)使用 Critique 对文本进行 SOTA 评估的指标。
具体结果参加:https://zeno-ml-chatbot-report.hf.space/
以下是评估结果汇总:
测评者评估了 7 种语言模型:GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command 和 ChatGPT (gpt-3.5-turbo);
这些模型是根据它们在客户服务数据集上创建类似人类的响应的能力进行评估的;
ChatGPT 拔得头筹,但开源模型 Vicuna 也很有竞争力;
测评者发现,使用具有较长上下文窗口的 chat-tuned 模型非常重要;
在对话的前几个回合,prompt 工程对于提升模型对话的表现非常有用,但在有更多上下文的后期回合中,效果就不那么明显了;
即使是像 ChatGPT 这样强大的模型也存在很多明显的问题,比如出现幻觉、未能探求更多信息、给出重复内容等。
以下是评测的详细信息。
设置
模型概况
测评者使用的是 DSTC11 客户服务数据集。DSTC11 是一个对话系统技术挑战赛的数据集,旨在支持更具信息性和吸引力的任务导向对话,通过利用评论帖子中的主观知识来实现。
DSTC11 数据集包含多个子任务,如多轮对话、多领域对话等等。例如,其中一个子任务是基于电影评论的多轮对话,其中用户和系统之间的对话旨在帮助用户找到适合他们口味的电影。
他们测试了以下 7 个模型:
GPT-2:2019 年的一个经典语言模型。测评者把它作为一个基线加入,看看最近语言建模方面的进展对建立更好的聊天模型有多大影响。
LLaMa:一个最初由 Meta AI 训练的语言模型,使用的是直接的语言建模目标。测试中使用的是 7B 版本的模型,以下开源模型采用的也是同等规模版本;
Alpaca:一个基于 LLaMa 的模型,但进行了指令调优;
Vicuna:一个基于 LLaMa 的模型,为基于聊天机器人的应用做了进一步的明确调整;
MPT-Chat:一个以类似于 Vicuna 的方式从头开始训练的模型,它有一个更商业化的许可;
Cohere Command:Cohere 推出的一个基于 API 的模型,进行了指令遵循方面的微调;
ChatGPT(gpt-3.5-turbo):标准的基于 API 的聊天模型,由 OpenAI 研发。
对于所有的模型,测评者使用了默认的参数设置。其中包括温度(temperature)为 0.3,上下文窗口(context window)为 4 个先前的对话轮次,以及一个标准的 prompt:「You are a chatbot tasked with making small-talk with people」。
评价指标
测评者根据这些模型的输出与人类客服反应的相似程度来评估这些模型。这是用 Critique 工具箱提供的指标完成的:
chrf:测量字符串的重叠度;
BERTScore:衡量两个语篇之间嵌入的重叠程度;
UniEval Coherence:预测输出与前一个聊天回合的连贯性如何。
他们还测量了长度比,用输出的长度除以黄金标准的人类回复的长度,以此衡量聊天机器人是否啰嗦。
更进一步的分析
为了更深入地挖掘结果,测评者使用了 Zeno 的分析界面,特别是使用了它的报告生成器,根据对话中的位置(开始、早期、中期和后期)和人类回应的黄金标准长度(短、中、长)对例子进行细分,使用其探索界面来查看自动评分不佳的例子,并更好地了解每个模型的失败之处。
结果
模型的总体表现如何?
根据所有这些指标,gpt-3.5-turbo 是明显的赢家;Vicuna 是开源的赢家;GPT-2 和 LLaMa 不是很好,表明了直接在聊天中训练的重要性。
这些排名也与 lmsys chat arena 的排名大致相符,lmsys chat arena 使用人类 A/B 测试来比较模型,但 Zeno Build 的结果是在没有任何人类评分的情况下获得的。
关于输出长度,gpt3.5-turbo 比其他模型的输出要冗长得多,而且看起来,在聊天方向进行调优的模型一般都会给出冗长的输出。
黄金标准响应长度的准确性
接下来,测评者使用 Zeno report UI 进行深入挖掘。首先,他们按照人类回复的长度将准确性分别进行了测量。他们将回复分为短(≤35 个字符)、中等(36-70 个字符)和长(≥71 个字符)三个类别,并对它们的准确性进行了单独的评估。
gpt-3.5-turbo 和 Vicuna 即使在更长的对话轮次中也能保持准确性,而其他模型的准确性则有所下降。
接下来的问题是上下文窗口大小有多重要?测评者用 Vicuna 进行了实验,上下文窗口的范围是 1-4 个之前的语篇。当他们增加上下文窗口时,模型性能上升,表明更大的上下文窗口很重要。
测评结果显示,较长的上下文在对话的中间和后期尤其重要,因为这些位置的回复没有那么多的模板,更多的是依赖于之前所说的内容。
当试图生成黄金标准较短的输出时(可能是因为有更多的歧义),更多的上下文尤为重要。
prompt 有多重要?
测评者尝试了 5 个不同的 prompt,其中 4 个是通用的,另外一个是专门为保险领域的客服聊天任务量身定制的:
标准的:「你是一个聊天机器人,负责与人闲聊。」
友好的:「你是一个善良、友好的聊天机器人,你的任务是用一种让人感到愉快的方式与人闲聊。」
有礼貌的:「你是一个非常有礼貌的聊天机器人,说话非常正式,尽量避免在回答中犯任何错误。」
愤世嫉俗的:「你是一个愤世嫉俗的聊天机器人,对世界有着非常黑暗的看法,通常喜欢指出任何可能存在的问题。」
保险行业专用的:「你是 Rivertown 保险服务台的工作人员,主要帮助解决保险索赔问题。」
总的来说,利用这些 prompt,测评者并没有测出不同 prompt 导致的显著差异,但「愤世嫉俗」的聊天机器人稍微差一点,而量身定制的「保险」聊天机器人总体上稍微好一点。
在对话的第一个回合中,不同 prompt 带来的差异尤其明显,这表明当没有什么其他上下文可以利用时,prompt 是最重要的。
发现的错误以及可能的缓解措施
最后,测评者使用 Zeno 的 exploration UI ,试图通过 gpt-3.5-turbo 找到可能的错误。具体来说,他们查看了所有 chrf 较低(<0.1)的例子,并手动查看了这些例子以发现趋势。
Probe 的失败
有时模型无法在实际需要时 Probe(探测)更多信息,例如模型在处理号码这一事件中尚未完善(电话号码必须是 11 位数字,模型给出的数字长度与答案不匹配)。这时可以通过修改 prompt 来缓解,以提醒模型某些信息所需的长度。
内容重复
有时,同样的内容会重复多次,比如聊天机器人在这里说了两次「谢谢」。
回答合理,但与人类方式不同
有时候,这种响应是合理的,只是与人类的反应不同。
以上就是评测结果。最后,测评者希望这份报告对研究者有所帮助!如果你继续想尝试其他模型、数据集、prompt 或其他超参数设置,可以跳转到 zeno-build 存储库上的聊天机器人示例进行尝试。
原文地址:https://github.com/zeno-ml/zeno-build/tree/main/tasks/chatbot/report
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
大羊驼、羊驼、小羊驼和ChatGPT比差在哪儿?CMU副教授测评了7个类ChatGPT大模型...相关推荐
- 一种平价的chatgpt实现方案,基于清华的 ChatGLM-6B + LoRA 进行finetune.(aigc大模型风口,校招找工作必备)
** 清华大学的chatglm-6b开源模型对话能力虽然能基本满足对话需求,但是针对专业领域和垂直领域回答显得智商捉急,这个时候就需要进行微调来提升效果,但是但是同学们显卡的显存更捉急,这时候一种新的 ...
- 一场关于ChatGPT话语权的深度思考:人类会在大模型中迷失自我吗?
大数据文摘授权转载自AI科技评论 作者:Elizabeth Weil 译者:ChatGPT 编辑:孙溥茜 ChatGPT 之风愈演愈烈,华盛顿大学语言学家 Emily M. Bender 公开反对让大 ...
- 《花雕学AI》讯飞星火认知大模型的特点和优势,与ChatGPT的对比分析
引言: 人工智能是当今科技领域的热门话题,自然语言处理是人工智能的重要分支.自然语言处理的目标是让计算机能够理解和生成自然语言,实现人机交互和智能服务.近年来,随着深度学习的发展,自然语言处理领域出现 ...
- 一文搞懂ChatGPT相关概念和区别:GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..
ChatGPT横空出世后,伴随而来的是大量AI概念,这些概念互相之间既有联系也有区别,让人一脸懵逼,近期大鱼做了GPT相关概念的辨析,特此分享给你. 1)Transformer 2)GPT 3)Ins ...
- 类ChatGPT的部署与微调(上):从LLaMA、Alpaca/Vicuna/BELLE、中文版
前言 近期,除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇,100篇目录见此:ChatGPT相关技术必读论文100篇),还开始研究一系列开源模型(包括各自对应的模型架构.训练方法. ...
- 知乎版ChatGPT「知海图AI」加入国产大模型乱斗,称效果与GPT-4持平
"2023知乎发现大会"上,知乎创始人.董事长兼CEO周源和知乎合作人.CTO李大海共同宣布了知乎与面壁智能联合发布"知海图AI"中文大模型. 周源据介绍,知乎 ...
- 【自然语言处理】【ChatGPT系列】Chain of Thought:从大模型中引导出推理能力
Chain-of-Thought Prompting:从大模型中引导出推理能力 <Chain-of-Thought Prompting Elicits Reasoning in Large La ...
- 大模型语言模型的全面测评:ChatGPT、讯飞星火认知大模型、文心一言、昆仑天工和通义千问
前言 在当今人工智能技术日益成熟的背景下,大模型语言模型的应用越来越广泛.作为一名AI爱好者,我测试了五个平台的大模型,分别是ChatGPT.讯飞星火认知大模型.文心一言.昆仑天工和通义千问.通过对这 ...
- ChatYuan元语AI: 类似ChatGPT功能型对话大模型 部署实践
个人使用感受 1.中英翻译超越了翻译软件,变成本地翻译最好软件了,回答英文时 有时单词之间没有空格 2.中文对话能基本理解意图,回答时会出现搜索式回答.相关内容,照抄网页相关内容原封不动显示出来,不精 ...
最新文章
- jquery 取消 radio checked 属性,重新选中的问题解决
- 月薪40-60k| 银牛微电子Inuitive招计算机视觉算法、应用软件等岗位
- DVWA学习(二)SQL Injection(Blind)
- ajax 实时进度_如何做好项目进度管理?
- count(1)、count(*)、count(字段)的区别
- php varexport,PHP函数补完:var_export()
- rnn stateful
- 你并不在意的 HTTPS 证书吊销机制,或许会给你造成灾难性安全问题!
- Android电池驱动【转】
- BZOJ 1085: [SCOI2005]骑士精神( IDDFS + A* )
- 【按键精灵手机助手】将变量和文字合并为一个字符串并打印输出
- 百分之99的人都不知道的Python爆破ZIP文件
- java log 断点_断点续传JAVA实现
- 如何从课堂派上扒取直播视频
- VUCA的复杂性——业务架构真正的挑战
- what is grid ?
- 如何在推荐系统中玩转知识图谱
- 【已解决】模拟人生4(Sims4) 启动失败 orangeEmu.dll及应用程序错误0x0000142
- 计算机丢失quartz.dll什么意思,教你win10系统quartz.dll丢失找不到指定模块的解决教程...
- idea 打包报错:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.6.1:compile (defau