如何让机器拥有人类的智慧?| 论文访谈间 #09

  • 时间:
  • 浏览:0
  • 来源:神彩UU直播现场_彩神UU直播现场官方

原文链接

作者表示该工作的创新点在于利用后验正则化思想,将离散的先验知识融入 NMT 框架中 。并肩,改进了原后验正则化依据,使其都时要直接基于导数优化,能够利用上不同的先验知识。对于该工作尚处在的缺陷,作者认为权重参数肯能具有先验知识重要性的物理意义,应该处在比训练得到更优的获取方案。

4. 长度比例底部形态:同类,人知道一般状况下英文句长度约为对应中文句的 1.2 倍。然后文章定义了公式 (8) 所示的长度比例底部形态,目的是鼓励翻译长度落在合理的范围内。

文章中使用的数据集是 1.25M 的中英句对,实验显示该模型能有效地增强翻译效果,都时要提升 2+ 的 BLEU 值,如下图所示。

最后,肯能在训练过程中不肯能穷尽所有肯能的翻译,然后采用了近似的依据,采样一累积肯能的翻译进行 KL 距离的估计,如公式 (9) 所示。在解码时,采用“重排序”的依据,即先使用 NMT 得到 k 个候选翻译,然后使用底部形态对其进行重新打分,选折 得分最高的作为最终翻译结果。

为引入不同的先验知识,文章中采用了 4 类底部形态: 

1. 双语词典底部形态:人的先验知识中中有 词和词的对应关系,同类,爱-love。然后,对于双语词典 D 中的任意另一有另一两个词对 <x, y>,该底部形态值定义为公式 (5)。含义为,肯能该词对再次出現在翻译句对中,则记 1。也就是对于另一有另一两个翻译句对,该底部形态表示“原句和翻译句中再次出現的词对的数量”。目的是鼓励按照词典进行翻译。

来源:paperweekly

然后在张嘉成等人的工作中,没没有人将公式 (2) 中的约束集合替换为对数线性模型表示的先验分布,如公式 (3),(4) 所示。公式 (4) 中的 ϕ(x,y) 代表“底部形态函数”,对于不同句对 (x, y),先求出其底部形态值并乘以权重参数 γ,再经过 softmax 得到先验分布 Q(y|x),该分布即为原依据中的 q(y)。经过你你是什么改进,使得模型都时要直接利用基于导数的优化依据训练,而不需使用 EM 算法进行求解。并肩,底部形态函数 ϕ(x,y) 都时要有不同的定义,然后增大了模型的通用性和可扩展性。

3. 覆盖度惩罚底部形态:人的先验知识认为原句中的词都是提供信息量,都应该参与翻译。文章沿用了 Yonghui Wu 等人在提出的覆盖度惩罚的定义,如公式 (7) 所示。其中 α_ij 是 NMT 注意力机制中第 j 个目标词对第 i 个源端词的注意力,然后在很少得到注意的源端词处惩罚较大。目的是惩罚源语言中好难被充分翻译的词。

没没有人常常将“人类的智慧型”称为“先验知识(prior knowledge)”。怎样才能将“先验知识”融合到机器学习模型中?该工作沿用了 Kuzman Ganchev 等人在 2010 年提出的“后验正则化(Posterior Regularization, PR)”依据。该依据都时要表示为公式 (1),(2)。其中公式 (2) 代表先验知识的约束;公式 (1) 表示为使得模型求出的后验分布 P(y|x) 和先验分布 q(y) 尽肯能地接近,将两者的 KL 距离作为模型目标函数的正则项。然后你你是什么依据难以直接应用到 NMT 领域,愿因有两点:1)对于不同的先验知识,好难给出另一有另一两个固定的 b 作为边界值;2)训练目标是另一有另一两个 max-min 问提,时要通过 EM 算法求解,难以通过基于导数的优化依据训练。

在神经机器翻译(Neural Machine Translation, NMT)中,肯能机器不具没有人类的智慧型,然后常常会犯你你是什么低级的错误。同类,在中-英翻译中,原中文的话中有 10 个词,而机器却有时翻译出另一有另一两个中有 150 个词的的话肯能是只中有 2 个词的的话。 不管内容怎样才能,在人类看来那我 的翻译很显然是不对的。好难怎样才上能让机器拥没有人类的智慧型,从而外理你你是什么低级的错误呢?近日,没没有人有幸采访到了清华大学的张嘉成,介绍他发表在 ACL2017 上的工作 - Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization。 

2. 短语表底部形态:同样,人还知道词组和词组的对应关系,同类:纽约- New York。然后你你是什么底部形态的定义和双语词典底部形态同类,如公式(6)所示。对于结构短语表中的任意短语对<x ̃, y ̃>, 肯能再次出現在翻译句对中,则记1。也就是对于另一有另一两个翻译句对,该底部形态表示“原句和翻译句中再次出現的短语对的数量”。目的是鼓励按照短语表进行翻译。