原标题：百度发布PLATO-XL 通过灵活的注意力机制,模型对上文进行了双向编码,充分利用和理解上文信息;对回复进行了单向解码,适应回复生成的auto-regressive特性

预训练技术大幅提升了模型对大规模无标注数据的学习能力,如何更高效、充分的利用大规模数据提升开放域对话能力,成为主流的研究方向。

PLATO-XL效果:多种类型、多种任务,对话效果全面领先

PLATO-XL:全球首个百亿参数对话预训练生成模型

让机器用自然语言与人自由地交流,是人工智能的终极目标之一。百度PLATO-XL的发布,是开放域对话在大模型上的一次深入探索。相信在不久的将来,更加强大的对话预训练模型将会陆续发布。未来,对话模型可以更加拟人、更有知识。

如今,百度发布PLATO-XL,参数达到了110亿,超过之前最大的对话模型 Blender(最高 94 亿参数),是当前最大规模的中英文对话生成模型,并再次刷新了开放域对话效果。

PLATO-XL模型:更高参数性价比,大幅提升训练效果

PLATO-XL网络架构上承袭了PLATO unified transformer 结构,可同时进行对话理解和回复生成的联合建模,参数性价比很高。通过灵活的注意力机制,模型对上文进行了双向编码,充分利用和理解上文信息;对回复进行了单向解码,适应回复生成的auto-regressive特性。此外,unified transformer结构在对话上训练效率很高,这是由于对话样本长短不一,训练过程中padding补齐会带来大量的无效计算,unified transformer可以对输入样本进行有效的排序,大幅提升训练效率。

百度PLATO-XL模型英文对话效果

百度PLATO一直有其独特的从数据到模型结构到训练方式上的创新。PLATO-1, PLATO-2不仅刷新了开放域对话效果,也具有非常好的参数性价比,即在同等参数规模下效果超越其他模型。PLATO-XL在参数规模达到新高的同时,其对话效果也不出意外地再次达到新高。下面,我们将展开介绍PLATO-XL模型的核心技术特点。

很难相信,以上是AI与人交流的真实对话记录。近日,百度发布新一代对话生成模型 PLATO-XL,一举超过Facebook Blender、谷歌 Meena和微软DialoGPT,成为全球首个百亿参数中英文对话预训练模型,再次刷新了开放域对话效果,打开了对话模型的想象空间。

【导读】和AI进行无障碍的对话,是什么样的体验?你或许能够在这篇文章里找到答案!百度全新发布PLATO-XL,参数达到了110亿,超过之前最大的对话模型 Blender,是当前最大规模的中英文对话生成模型,并再次刷新了开放域对话效果。

更多的PLATO技术交流或应用需求可发送邮件,未来PLATO技术还将开放更多能力,敬请关注百度大脑UNIT平台。

结语

让机器进行像人一样有逻辑、有知识、有情感的对话,一直是人机智能交互的重要技术挑战;另一方面,开放域对话能力是实现机器人情感陪伴、智能陪护、智能助理的核心,被寄予了很高的期望。

为了全面评估模型能力,PLATO-XL与当前开源的中英文对话模型进行了对比,评估中采用了两个模型针对开放域进行相互对话(self-chat)的形式,然后再通过人工来评估效果。PLATO-XL与FacebookBlender、微软DialoGPT、清华EVA模型相比,取得了更优异的效果,也进一步超越了之前PLATO-2 取得的最好成绩。此外,PLATO-XL也显著超越了目前主流的商用聊天机器人。

百度PLATO-XL模型中文对话效果

尽管大规模参数的模型在自然语言处理领域如雨后春笋出现,并且在多个自然语言理解和生成任务上取得了很多成果,但多轮开放域对话的主动性和常识性问题一直无法很好解决。百度 NLP 于2019年 10 月预发布了通用领域的对话生成预训练模型 PLATO,在 ACL 2020 正式展示。2020年升级为超大规模模型 PLATO-2,参数规模扩大到 16 亿,涵盖中英文版本,可就开放域话题深度畅聊。如今,百度 全新发布PLATO-XL,参数规模首次突破百亿达到110亿,是当前最大规模的中英文对话模型。

为了进一步改善对话模型有时候自相矛盾的问题,PLATO-XL引入了多角色感知的输入表示,以提升多轮对话上的一致性。对话模型所用的预训练语料大多是社交媒体对话,通常有多个用户参与,表述和交流一些观点和内容。在训练时,模型较难区分对话上文中不同角度的观点和信息,容易产生一些自相矛盾的回复。针对社交媒体对话多方参与的特点,PLATO-XL进行了多角色感知的预训练,对多轮对话中的各个角色进行清晰区分,辅助模型生成更加连贯、一致的回复。

从谷歌 Meena、Facebook Blender 到百度 PLATO,开放域对话效果不断提升。在全球对话技术顶级比赛DSTC-9 上,百度PLATO-2 创造了一个基础模型取得5项不同对话任务第一的历史性成绩。

PLATO-XL包括中英文2个对话模型,预训练语料规模达到千亿级token,模型规模高达110亿参数。PLATO-XL也是完全基于百度自主研发的飞桨深度学习平台,利用了飞桨 FleetX库的并行能力,使用了包括 recompute、sharded data parallelism等策略,基于高性能 GPU 集群进行了训练。

除了开放域闲聊对话,模型也可以很好的支持知识型对话和任务型对话,在多种对话任务上效果全面领先。

PLATO系列涵盖了不同规模的对话模型,参数规模从9300万到110亿。下图可以看出,模型规模扩大对于效果提升也有显著作用,呈现较稳定的正相关关系。

百度开放接口服务供大家体验最新中文PLATO百亿模型的效果,对智能对话感兴趣的小伙伴一定不能错过。

tags：

上一篇  下一篇

相关：

凭医学起家、专新特精的时代天使 选择了更有利于控根移动的材料参数

洋品牌使用者的血泪教训 好的技术再加上好的服务，这也成为了为什么越来越多的中国消费者愿意选择更懂国人的时代天使的原因。对于越来越理智的消费者而言，刷屏洗脑的广告、进口品牌的光环、新兴品牌的低价策略等

Keep节奏燃脂课程受关注 为了支持全民健身

（Keep直播课程研发负责人王鹏接受北京电视台采访） Keep 节奏燃脂的课程是基于现在市面上比较流行的HIIT高强度间歇训练原理为基础，和音乐的完美结合，通过音乐BPM节奏的快慢，设定不同的训练小节，通过波浪科

首秀破2200万,“交个朋友新女王”如何诞生的? 过硬的直播和供应链班底,确保带货不翻车最近参加综艺也不含糊,比如在乘风破浪的姐姐两次公演,宁静在训练的时候,她说自己不能跳舞,但是兰花草里已经开始努力

交个朋友还发挥交个朋友直播间善于利用COSPLAY(角色扮演)等手段场景化卖货的特点。通过兼具综艺和带货的沉浸式展示和表演持续制造新鲜感,吸引更多观众和买家。 但明星光有观众信任感,还远远不够。 无论是《红河谷

百度智能云位居《2021年中国 人工智能正进入大规模落地阶段,越来越多的开发者和企业基于深度学习平台构建、训练和部署智能应用

在增长维度,百度智能云提供算力、数据、算法和平台等全方位服务能力,并构建了繁荣、具备市场影响力和应用广度的AI开发生态。 作为源于产业实践的深度学习开源开放平台,飞桨一直致力于降低门槛,满足不同行业、不同

睦清斩获2021年度国潮新消费品牌势力榜“最佳健康新消费品牌”大奖 达到平衡菌群的效果而不是像市面上添加抗生素的产品盲目杀死细菌

首先，睦清以制药级标准严苛要求从研发到生产的每一个细节，联合国内外生物学家和医疗专家为母乳喂养研发更安全、有效的创新产品，快速解决哺乳期妈妈的痛点。其次，睦清将其最具代表性的2QR(To Cure)国际专利技术