欢迎光临广州鑫亮办公设备有限公司
LATEST NEWS
新闻动态
联系我们
销售热线:
Contact Hotline
【☎/微/同号】
13407484838
网址:http://www.xldn333.com

E-mail:991699205@qq.com

公司地址:广东省广州市天河区岗顶百脑汇333号
当前位置: 主页 > 新闻动态 > 公司新闻 >
广州市白云区神山杰讯通电脑维修店-广州市白云区神山杰讯通电脑维修店_ 语义解析:人工神经网络之外不容忽视的自然语言处理利器
 

如何公道地暗示语言的内涵意义?这是自然语言处理惩罚业界中持久以来悬而未决的一个命题。

在2013年漫衍式词向量暗示(Distributed Representation)呈现之前,one-hot是最常用的字词数值暗示形式。在这样的词袋模子下,语言被暗示为极其稀疏的向量形式,词之间的彼此干系完全独立,语言深刻的内涵寄义被简化成0-1干系。

而之后呈现的一系列预练习词向量(如Word2Vec、Glove等),在必然水平上办理了词袋模子的稀疏性,对大部门NLP任务的表示都带来了必然水平的晋升,但其仍无法对如组合性,多义性、照应性、依赖性等巨大语言现象举办公道的暗示。到了2018年,跟着一系列在大局限语料上练习的深度语言模子的呈现,以阅读领略为代表的一大批NLP任务的榜单屡被刷新,人工智能在语言上的领略本领高出人类的言论一度甚嚣尘上。但当我们回过甚来仔细思考,在真实的“自然语言领略”业务场景中,这一轮“技能革新”带来的利恰好像乏善可陈。

那么,对大局限语料的暴力拟合是不是真的能让模子领略语言的语义呢?2019年呈现的GTP2模子参数数量到达了惊人的15亿之巨,由它生成的新闻甚至能骗过专业的记者。但值得玩味的是,本年早些时候台湾乐成大学的几位研究者发明,BERT更多地学到了语言中的统计线索,而不是领略文本傍边的真正逻辑。当我们用同样的模子对武侠小说举办进修之后,在其生成的文本中我们看到“三柄长剑断作两截”这样的“statistically impeccable but logically wrong"的句子,让我们进一步验证基于人工神经网络的大局限语言模子对语言的深度领略仍然有限。

其实,对付语言暗示的问题,在统计学派鼓起之前的20世纪初期,以索绪尔为代表的一批标记学派语言学家就开始系统地研究了。到了六十年月末期,跟着逻辑学家和语言学家之间的屏障开始被冲破,一批理论语言学家们着手为自然语言寻求一套完整的语义理论模式,来对语义举办完整的暗示。美国逻辑学家理查德·蒙塔古是个中的佼佼者,他认为自然语言与形式语言在根基文法逻辑上是一致的,他提出的“蒙太古语法”也为之后的语义暗示研究奠基了基本。

> There is in my opinion no important theoretical difference between natural languages the artificial languages of logicians; indeed I consider it possible to comprehend the syntax semantics of both kinds of languages with a single natural mathematically precise theory. (Montague 1970c, 222)



在语义理会这个规模,语义暗示早期的事情险些都是标记学派为主的,譬喻一阶逻辑表达式和lambda计较式。举个例子,对付:



这样一个自然语言,操作一阶逻辑表达式可以简朴地表达为:



但这些早期的逻辑表达式有一些限制条件,譬喻,在一阶逻辑中,量词只能用于个别变元,打消这一限制条件,答允量词也可用于命题变元和谓词变元,由此结构起来的谓词逻辑就是高阶逻辑。FMR(Functional Meaning Representation) 就是操作高阶函数来做意义表达,将语义(函数声明的挪用)和语用(函数详细实现逻辑,函数体)的实现解耦合,让模块的复用性和实用性更好。

也有一些研究者但愿用有向无环图来更完备地表达语义,譬喻由帕尔默等人提出的AMR(Abstract Meaning Representation)。连年来,一些家产界机构也按照本身的业务场景提出了满意各自需求的多种语义暗示要领,譬喻亚马逊的Alexa语音助手就回收了同样基于有向无环图的AMRL(Alexa Meaning Representation Language)来暗示以对话为主的自然语言。

尚有一些研究者倾向于把自然语言直接转化为像python、SQL一样的措施语言,使之可以或许直接被执行。由于措施语言天然地倾向于消除歧义,这样的要领在某些特定规模有着很强的实用性。

在一览群智的业务落地进程中,我们一直在摸索一种实用性强、扩展性好的落处所案。面临实际业务问题,可以或许基于坚硬的基本研发产物举办快速的行业适配,挣脱传统要领对数据标注的依赖。同时,又能无缝跟尾先进通用模子带给我们的技能利好,有机地把行业内的专家常识与自然语言学界的前沿成就团结起来。基于Go语言的开源库FMR (Functional Meaning Representation)就是我们朝这个偏向踏出的坚硬一步。在我们的实际业务场景种,基于FMR框架,仅需要少量的工程师就能将有行业非凡性的语言逻辑快速转化为FMR框架可读的文法,快速满意行业定制化需求。别的,FMR对比于传统的框架,可表明性强,误差可控,在陈设便利程性和技能的延展性上,都有着奇特的优越性。

注:FMR开源库地点链接https://github.com/liuzl/fmr



在线客服1
在线客服2
关注官方微信
返回顶部