Google开源最新NLP模型,能处理整本《罪与罚》_银河vip贵宾厅

本文摘要:Transformer是近年来NLP领域备受瞩目的模型之一。

银河贵宾厅网页登录

Transformer是近年来NLP领域备受瞩目的模型之一。2017年,谷歌公开发表了以AttentionIs。

Allyouneed为题目的论文,明确提出了基于注意力机制的网络框架Transformer。2018年,谷歌开始了基于Transformer的BERT模型,在NLP领域着火。2019年,机械学习领域仅次于的趋势之一是基于Transformer的自然语言模型的持续增长和蔓延。

2020年,根据自然语言处理领域的数据,GLUE排行榜显示了最佳模型,包括Nvidia在内的MegatronGoogler。最近,谷歌发售了Transformer的UltraReformer。【图像来源:VentureBeat所有者:VentureBeat】与Transformer相比,对人工智能和机械学习模型更有效,无论是语言、音乐、语音还是视频,序列数据都很差例如,如果一个人或一个物体在视频中消失了很长时间才出现新的频繁情况,很多算法都不会忘记它的样子。

因此,谷歌开发了机械翻译模型Transformer,期待解决问题。Transformer是一展到成千上万个单词的结构,大大提高了完成作曲、图像制作、逐句文本翻译和文档概要等任务时的性能。

银河vip贵宾厅

与所有深度神经网络一样,Transformer包括连接层中的神经元(数学函数),可以传输输输出数据的信号,慢慢调整所有连接的神经元的强度(权重),这是所有人工智能模型提取特征和自学预测的方式,但Transformer但是,Transformer并不是最终的。将其扩展到更大的环境中,局限性显着出现。大窗口app的内存从千兆字节到万亿字节均值,也就是说模型不能吸取几段文本或分解一段音乐。

在此基础上,谷歌发售,Reformer作为Transformer的发展,Reformer需要处理多达100万字的环境,有16GB的存储器可以在单个AI加速器芯片上运营。【照片来源:论文】(公共编号:)论文《Reformer:TheEfficintTrasformer已于2020年4月在埃塞俄比亚召开的自然语言处理顶峰会ICLR-2020(InternationConferncerningLearningRerningRerntations)接管,现在的模型也开源了。根据论文,Reformer主要包括以下技术:第一,约克层只存储在整个模型中的转录函数的单一副本,因此约克N因子消失;第二,在前馈层合并转录函数,并进行分段处理,避免dff因子,节省前馈层内存;第三,利用局部脆弱的哈希(录音:LSH,即哈希算法,主要用于高维度数据的缓慢类似于查询)。具体来说,哈希函数是将给定大小的数据构成相同大小的值的函数,该函数不是在所有可能的向量中搜索,而是给定相似的向量(即对机械学习中人类可读数据的代数构造作出反应)。

例如,在翻译成任务中,来自网络第一层的每个向量对一个单词作出反应,对应不同语言中完全相同单词的向量可以得到完全相同的哈希值。分配哈希时,序列不再排列,按要素的哈希值分类,并行处理,减少了长序列的复杂性,大幅度增加了计算负荷。Reformer可以处理整部小说为了检查,Reformer显然需要在单一的GPU上运营,可以在长序列中慢慢训练研究者,在报酬wik8和imagn64的数据集中对20层的Reformer模型进行训练。

实验指出,Reformer可以超越与Transformer完全相同的性能,内存效率高,长序列任务训练缓慢。【图像来源:论文】另外,研究小组对基于Reformer的图像和文本模型进行了实验,分解了图像缺陷的细节,处理了小说《罪与》(包括约211591个单词)的全文。

银河贵宾厅网页登录

研究指出,Reformer需要放弃像素来分解只有框架图像,还需要在训练中接管小说长度的文本。Google科学家ukaszkaiser和加利福尼亚大学伯克利分校的学生NikitaKitaev对这项研究做出了贡献。他们在博客中写道,由于Reformer的效率极高,必须应用于下一个窗口。Reformer设置这样的能力也不能刺激地区的创造数据。

据报道,论文作者不会进一步应用于更广泛的领域(如时间序列预测和音乐、图像和视频分解),并改进对方位代码的处理。秀恩斯zaiser和凯蒂斯卡卡拉okaev的补充说:我们相信Reformer,为将来Transformermer模型的长文本和自然语言处理以外的应用奠定了基础。2019年底,外国媒体VentureBeat访问过Google高级副社长JeffDean。

他在采访中回答说,谷歌仍然希望创造更好的情况模型,像现在一样,BERT等模型可以处理数百个单词,但是不能处理11万个单词。的双曲馀弦值。

因此,这不是谷歌未来的主要关注方向。Reformer可能是向这个方向前进的充满希望的第一步。

本文关键词:银河vip贵宾厅,银河贵宾厅网站,银河贵宾厅网页登录

本文来源:银河vip贵宾厅-www.gruppolama.com

相关文章

此条目发表在互联网分类目录。将固定链接加入收藏夹。

评论已关闭。