当前位置:刘伯温预言 > 认知映射 >

智源论坛第4期——《知识与认知图谱》在清华大学顺利举办

  5月30日,由北京智源人工智能研究院主办的智源论坛第4期——《知识与认知图谱》在清华大学顺利举办。清华大学的机器翻译面临三大挑战,即知识整合、可解释/可视化和鲁棒性。并针对上述三大挑战做了团队最新研究与突破工作介绍。

  因为人类的语言不通,《圣经》故事中的“巴别塔”没能建成,以失败告终。如何打破人类语言之间的屏障,也成为了人类一直希望解决的问题。

  目前,世界上大概有6000多种语言,其中3000多种语言是具有数学体系的。正如上图所示,可以看到不同国家、不同地区所说的语言是大不相同的。不同语言之间的交流存在非常多的问题,这些问题就是我们通常所说的“语言屏障”。

  机器翻译的概念已经存在了几个世纪,但直到20世纪50年代初才开始成为现实。从那以后,机器翻译已经取得了巨大的进步。

  机器翻译的主要任务就是把一种语言自动翻译成另外一种语言,看上去就像是函数映射问题。但是其难点就在于语言本身的复杂性和种类的多样性。

  世界上的语言按形态分类可分为:屈折语、黏着语和孤立语。如何将这些语言进行转换是机器翻译要解决的重要问题(三种语言形态详细内容见文末)。

  1990年以后,特别是互联网出现以后,人们得到了大量的可读文本、机读文本,所以更倾向于使用数据进行机器翻译。这段时期分两个阶段:

  第一阶段是使用传统统计方法来(从1990年到2013年),需要且依赖于人写特征;

  第二种阶段是采用深度学习方法(从2013年至今)。这一阶段不需要人写特征就写规则,再后来只需要写框架即可。

  越往后发展,人类参与程度越精炼。现在主流方法是数据驱动的方法。

  到了2016年,机器翻译在商业界基本采用都采用了机器学习。其核心思想就是用一个非常复杂的核心网络,做非线性函数,把源语言投射到目标语言。所以怎么设计这样的一个函数,便成了是非常关键的问题。

  5月30日,由北京智源人工智能研究院主办的智源论坛第4期——《知识与认知图谱》在清华大学顺利举办。

  会中,清华大学计算机系长聘副教授、博士生导师、智能技术与系统实验室主任刘洋老师做了《基于深度学习的机器翻译》精彩报告。

  针对上述机器翻译现状,刘洋老师认为,这种基于神经网络、深度学习的方法面临三个挑战:

  刘洋老师表示,数据、知识和模型对于整个人工智能是非常要的,研究人员建立一个数学模型,从数据中学习参数,也是某种程度上只是的表示,用同样的模型解决现实的问题。

  而有的时候数据量是不够的,例如爱斯基摩语和维语,几乎是没有数据可言。像这样冷门小领域语言的翻译,由于数据的稀缺,翻译任务会变得非常棘手。因此可以考虑往里面加入知识。

  虽然神经机器翻译近年来取得了很大的进展,但是如何将多个重叠的、任意先验的知识资源整合起来仍然是一个挑战。针对这个问题,刘洋老师及其团队展开了研究。

  在这项工作中,建议使用后验正则化来提供一个将先验知识整合到神经机器翻译中的通用框架。将先验知识来源表示为一个对数线性模型的特征,该模型指导神经翻译模型的学习过程。汉英翻译实验表明,该方法取得了显著的改进。

  刘洋老师表示,希望能够提供一种通用的框架,所有的知识都能往里加。因此这项工作把人类的知识表示成一个空间这是一个符号空间。

  然后把深度学习的数字表示另外一个空间,尝试把这两个空间关联起来,再通过人类的知识主导这个知识,把传统知识都压缩里面,让它知道深度学习的过程,就能够提供更好的通用框架。

  目前,在机器翻译领域,神经机器翻译因为其较好的性能,已经取代统计机器翻译,成为实际上的主流方法。

  大多数的神经机器翻译都是基于attention机制的encoder-decoder模型,然而这种模型在内部传递的是浮点数,类似于“黑箱”,难以理解和调试。

  当输入一个句子和输出一个句子时,并不知道其生成过程;当出现错误时,也不知道是什么原因导致的。

  所以研究人员迫切希望能够打开这个黑盒子,知道内部信息怎么传递的,到底什么原因形成这样一个错误。

  能够计算任意隐状态和任意contextual words的相关性,同时不要求神经网络中的函数必须可求偏导,不同于之前只有encoder和decoder隐层之间的对应信息;

  最近关于解释和可视化神经模型的工作集中在计算输入层上的单元对输出层的最终决策的贡献。 例如,在图像分类中,理解单个像素对分类器预测的贡献是重要的。

  而在这项工作中,团队感兴趣的是计算源和目标词对基于注意力的encoder-decoder框架中的内部信息的贡献。

  如下图所示,第三个目标词“York”的生成取决于源上下文(即源句“zainiuyue”)和目标上下文(即部分翻译“in New”)。

  从直观上看,源词“niuyue”和目标词“New”与“York”的关联性更强,应该比其他词获得更高的关联性。问题是如何量化和可视化隐藏状态和上下文词向量之间的相关性。

  如果要计算 v1和u1之间的相关性,首先计算v1 和z1、z2之间的相关性,再将 v1和z1、 z2的相关性传递到u1,从而求得v1和u1之间的相关性。

  通过这样一种技术,能够对于机器翻译中所有的模型都进行可视化的分析。

  刘洋老师表示,LRP能够为Transformer生成相关矩阵。它本身是没有办法进行分析的,用了这个技术就可以把输入、输出以及内部的关联性用可视化的方式呈现出来,这样可以更好分析运作机制。

  团队用在机器翻译的错误分析上,分析了漏词、重复翻译、形成无关词,还有否定的反转。

  分析翻译错误:词的省略。第6个源词“zhong”没有被正确翻译。

  分析翻译错误:单词重复。目标词“history”在翻译中两次出现错误。

  分析翻译错误:不相关的词。第9个目标词“forge”与源句完全无关。

  有这样一个例子,假设有一段译文,输入的是“《中国电子银行业务管理新规》将于3月1日起施行”,若是一不小心把“中国”敲成“中方”,后面所有的译文发生变化,刘洋老师称之为蝴蝶效应。

  这就是现在存在的一个较为现实的问题:输入中的小扰动会严重扭曲中间表示,从而影响神经机器翻译(NMT)模型的翻译质量。

  这是因为深度学习是一种全局关联的模型,只要有一点点变化,就会牵一发而动全身,而这是非常糟糕的。

  在这项研究中,研究人员提出了通过对抗性稳定性训练来提高NMT模型的鲁棒性。

  其基本思想是使NMT模型中的编码器和解码器对输入扰动都具有鲁棒性,使它们对原始输入及其受扰动的对应项具有类似的行为。

  在给定一个源字的情况下,它在向量空间中的邻居可以选择为一个有噪声的字。

  最后,刘洋老师给提供了针对神经机器翻译的开源工具包,有兴趣的读者可以访问下方链接进行实验:

  孤立语以中文为代表,它由各自独立且具有完整意义的单词,通过单纯的叠加构成文句。

  黏着语以乌拉尔阿尔泰语系为中心,通过用助词、助动词将独立的单词连接起来,完成整个文章的陈述。

  屈折语指的是欧洲语系,单词本身随着人称、时态、格等发生复杂的形态变化。

  原文标题:清华刘洋《基于深度学习的机器翻译》,突破知识整合、可解释和鲁棒性三大难关

  文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

  David,加州大学物理博士,美国著名电商数据科学家。本课程介绍什么是深度学习, 深度学习与机器学习的关系,几种神经网络

  机器学习的应用需要大量的人工干预,比如特征提取、模型选择、参数调节等,深度学习也被戏称为炼丹术。

  电子发烧友总结了以“人工智能”为主题的5月精选干货,今后每月一个主题为一期,希望对各位有所帮助?。ǖ慊鞅晏饧纯山胍趁嫦略?..

  C位是近年网络上一个比较热门的词,最早来源于DOTA等游戏领域,是核心位置(Carry位)的简称,代....

  近日,阿里达摩院发布了一项新研究:其AI技术进化到助理法官的水平,具备自主判案能力,判案时间最快仅需....

  近日,滴滴出行正式宣布与蒙特利尔学习算法研究所(Mila)达成深度合作,双方将围绕智能驾驶、深度强化....

  谷歌Evolved Transformer通过AutoML技术进行特定任务定制,在编码器和解码器???...

  智能时代正在到来,大家对人工智能的认知,早已不仅仅局限于家里的智能音箱、手机里的智能助理、商场里的智....

  随着深度学习的大热,许多研究都致力于如何从单张图片生成3D模型。但近期一项研究表明,几乎所有基于深度....

  Nvida的GPU上的HBM和GDDR对于大部分神经网络的炼丹师都是非常重要,能够在一个GPU的内存....

  人工智能背后的碳排放引发关注 根据一份提交到自然语言处理顶会ACL 2019的论文,三位来自马....

  难道神经网络不用学权重也能完成各种任务?难道我们以为 CNN 学习到的图像特征只是我们以为?神经网络....

  如果20年前有人对我说,可以把一种语言中的句子分割成小的单词片段,然后将这些片段输入给一个始于随机连....

  基于这个框架,我们试图用统一的观点来解释这些令人费解的经验现象。本文使用师生设置,其中给过度参数化的....

  这些目标往往互有冲突:公式、定理和引用最容易通过LaTeX进行管理和展示,代码自然应该用简单易懂的P....

  创始人Jeremy Howard称,本课程旨在为有经验的程序员提供深度学习实践的教学,例如如何训练准....

  TensorFlow Hub是一个共享可重用的机器学习平台,主要面向开发者,谷歌希望TensorFl....

  但是,这些已有方法多数针对于生成信息较为丰富的风格,如油画,这些风格的图像中包含很多零碎的图形元素(....

  Adam Gaier是一名AI研究员,在教学和研究方面具有广泛的国际经验,在生物启发的计算、机器人和....

  6月13日,CES Asia2019在上海落幕,展会上,人工智能依旧是关键词之一。除了熟知的人脸识别....

  据外媒报道,近日斯坦福官方博客介绍了一种编辑有声视频的算法技术。这个技术可以使用文字记录修改视频,就....

  最近有很多关于数据是否是新模型驱动 [1] [2] 的讨论,无论结论如何,都无法改变我们在实际工作中....

  美媒称,人工智能(AI)现在可以做到只参考一小段音频,就能生成一个人面部的数字图像。

  Dlib是一个深度学习开源工具,基于C++开发,也支持Python开发接口,功能类似于TensorF....

  语言模型对系统所针对的语言进行建模。理论上,包括正则语言,上下文无关文法在内的各种语言模型都可以作为....

  能零积门限检测算法可以在不丢失语音信息的情况下,对语音进行准确的端点检测,经过450个孤立词(数字“....

  稀疏自编码器(又称稀疏自动编码机)中,重构误差中添加了一个稀疏惩罚,用来限定任何时刻的隐藏层中并不....

  为了实现这一限制,我们将会在我们的优化目标函数中加入一个额外的惩罚因子,而这一惩罚因子将惩罚那些ρ?....

  如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐....

  支持向量机 (SVM) 是一个非常经典且高效的分类模型。 但是, 支持向量机中涉及许多复杂的数学推导....

  Tractica预测,AI市场的这种增长和演变将推动深度学习芯片组的出货量从2018年的1.649亿....

  或许未来我们回顾中国城市的智慧化进程时,会发现凿开了一个个“神经元”、搭建了一根根数字管道,才让智慧....

  目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能....

  水印作为一种?;ぐ嫒ǖ挠行Х绞奖还惴旱赜τ糜诤A康幕チ枷?,针对水印的各种处理显得越来越重要,比如....

  越来越多的企业意识到,人工智能是一项企业必需品,但如何真的化 “智能” 以“智用”,仍是一个问题。

  本月新推出的这个人工智能工具,通过翻译2,000种非洲语言,来促进当地经济。

  机器学习是无数重要应用程序的基础,包括网页搜索,电子邮件反垃圾邮件,语音识别,产品推荐等。我假设你或....

  神经网络技术起源于上世纪五、六十年代,当时叫感知机(perceptron),拥有输入层、输出层和一个....

  研究人员开发出了首个通过语法引导的神经网络生成器AOGNets,它能更有效地在原始数据中提取信息,在....

  动驾驶汽车首先要进行规划,然后才能沿着安全轨道在环境中行驶。

  这种AI不再依赖程序员预先设置的命令,而是通过自我学习和经验积累做出判断。它做出的每个判断都会得到正....

  DeepMind 综述深度强化学习:智能体和人类相似度竟然如此高!

  近年来,深度强化学习(Deep reinforcement learning)方法在人工智能方面取得....

  眼下最热门的技术,绝对是人工智能。人工智能的底层模型是神经网络(neural network)。....

  自适应滤波器是统计信号处理的-一个重要组成部分。凡是需要处理未知统计环境下运算结果所产生的信号或需要....

  OpenAI——一个非营利性组织,其使命是解决通用人工智能(AGI)问题并确保所有发现对公众开放,而....

  对肺结节的诊断属于一种特殊的分类/检测任务,基于深度学习的图像分类和目标检测算法被广泛地应用在肺结节....

  i.MX 8开发工具从相机获取数据并使用一个GPU并应用图像分割算法。然后将该信息馈送到专用于识别交通标志的神经网络推理引擎...

http://albacheval.com/renzhiyingshe/291.html
点击次数:??更新时间2019-06-25??【打印此页】??【关闭
  • Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有  
  • 点击这里给我发消息
在线交流 
客服咨询
【我们的专业】
【效果的保证】
【百度百科】
【因为有我】
【所以精彩】