雖然方股份(臉書、亞馬遜、、谷歌)在納斯達克市場暴跌，但其中三家的神經(jīng)機器翻譯(NMT)產(chǎn)量創(chuàng)歷史新高。

雖然NMT的研究成果在2017年12月和2018年前幾個月經(jīng)歷了一段時間的沉寂，但從2018年2月開始似乎有所恢復(fù)。

斯萊特最近在Arxiv.org發(fā)表了許多新的研究論文，這是康乃爾大學(xué)的一個自動化在線研究分發(fā)系統(tǒng)。

我們發(fā)現(xiàn)，從2017年11月1日到2018年2月14日，至少有58篇相關(guān)論文，其中12篇不是專門針對NMT的，這意味著105天內(nèi)發(fā)表了46篇NMT研究論文。

但是，從2018年2月15日到2018年4月26日，我們找到了76篇相關(guān)論文。其中51個與NMT有直接關(guān)系。一些對NMT不嚴格的論文，作為機器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)的子領(lǐng)域，在NMT上做了實驗，這反映了它有多少熱門的研究課題。

顯然，出版業(yè)發(fā)展迅速，如IBM、微軟、臉書、亞馬遜和谷歌。公司正在積極研究NMT?！按蠹夹g(shù)”公司最近的重要研究包括:

臉書談低資源語言

臉書人工智能研究(FAIR)團隊一直在忙于解決訓(xùn)練機器翻譯(MT)引擎缺乏并行語料庫的低資源語言的問題。2018年3月，斯萊特報告了臉書的4萬美元贈款，用于研究NMT的低資源語言。

他們最近的論文基于短語和神經(jīng)無監(jiān)督機器翻譯，解釋了研究人員如何改進以前的無監(jiān)督MT方法，并基于短語統(tǒng)計MT(PBSMT)和NMT開發(fā)了一個完全無監(jiān)督的系統(tǒng)。研究人員聲稱，他們的系統(tǒng)超過了最先進的無監(jiān)督MT系統(tǒng)，超過11個BLEU(雙語評估測試)分“沒有使用一個平行句子”。

機器翻譯的有監(jiān)督訓(xùn)練意味著擁有用于訓(xùn)練機器翻譯引擎的源數(shù)據(jù)和目標數(shù)據(jù)(即兩種語言的平行語料庫)。機器翻譯系統(tǒng)的無監(jiān)督訓(xùn)練意味著只有源數(shù)據(jù)，這通常是低資源語言的情況。

資源匱乏的語言對臉書來說是一個現(xiàn)實問題。2017年，臉書的用戶達到20億，每天需要45億次翻譯。

這數(shù)十億次翻譯中的一些是針對低資源語言的，如土耳其語、越南語和他加祿語，這些是菲律賓的主要方言，菲律賓是全球社交媒體之都，擁有超過4700萬臉書用戶。

亞馬遜正在提高流程效率。

亞馬遜的研究公司在最近的一篇論文“多語言機器翻譯中的神經(jīng)元間語言”中，作者聲稱他們開發(fā)了一種“通過執(zhí)行直接零點翻譯來學(xué)習(xí)真正的語際語言”的模型。

在NMT模型中使用他們的國際語言，研究人員報告使用更少的參數(shù)，仍然實現(xiàn)與先前模型相同的產(chǎn)量。

此外，亞馬遜在本月初發(fā)布了“神經(jīng)機器翻譯中的快速詞法約束解碼和動態(tài)波束分配”的研究。約束解碼是一種允許NMT連續(xù)翻譯特定單詞或術(shù)語的方法。

問題是，對于NMT引擎需要記住以特定方式翻譯的每個單詞，整個系統(tǒng)都會變慢一點。

介紹了約束解碼在Amazon的Sockeye上的應(yīng)用，降低了方法的復(fù)雜度，加快了速度。

谷歌提高NMT產(chǎn)量

谷歌幾乎每個餡餅都有一根手指。谷歌大腦研究人員的Arxiv研究論文包括與微軟合作撰寫的關(guān)于低資源語言、機器閱讀和問答以及無監(jiān)督學(xué)習(xí)的出版物。

然而，他們最近論文的主題非常明確:“兩全其美:結(jié)合神經(jīng)機器翻譯的最新進展”。正如其標題所示，谷歌研究人員通過結(jié)合最近NMT模型的最佳部分，制造了mishmash NMT引擎:遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)和他們自己的自我注意變形模型。

谷歌提出了一個新的改進的常規(guī)NMT(他們稱之為RNMT+)，它使用了他們自己的生產(chǎn)變壓器模型的一些方面。除了RNMT+，他們還開發(fā)了另外兩個模型，據(jù)報道，這兩個模型的性能優(yōu)于RNMT+。

根據(jù)谷歌的說法，這三個引擎的性能都超過了最新水平，包括他們自己生產(chǎn)的谷歌翻譯變壓器。

如果是的話，沒有關(guān)于執(zhí)行時間表的案文。假設(shè)他們還沒有參與持續(xù)的推廣(類似于谷歌對其搜索算法所做的)，考慮到谷歌的新引擎和進一步改進自我關(guān)注機制的研究，實現(xiàn)可能很快就會發(fā)生。

BLEU的點擊率更高。

當亞馬遜的《馬特郵報》(Matt Post)最近發(fā)表了一篇名為《呼吁報告BLEU分數(shù)的清晰度》的論文時，有限但仍被廣泛使用的BLEU指標再次受到重創(chuàng)。

斯萊特最近發(fā)表了安迪·韋教授對BLEU局限性的看法。帖子的觀點

Lator最近發(fā)表了Andy Way教授對BLEU局限性的看法。然而，波斯特的觀點是他稱之為BLEU的“詛咒”，即“對如何報告分數(shù)缺乏共識”。

“雖然人們稱之為‘BLEU’評分，但BLEU評分可能會隨著其參數(shù)化而發(fā)生很大變化，尤其是參考治療方案。然而，這些細節(jié)在論文中缺失或難以確定，”波斯特在論文摘要中寫道?！拔覀兞炕诉@種變化，發(fā)現(xiàn)常見配置之間的差異高達1.8。”

記錄2018年4月

使用Arxiv的高級搜索功能，斯萊特發(fā)現(xiàn)，自2014年研究成功以來，2018年4月已成為NMT最繁忙的一個月。

4月份，截至26日，共發(fā)表論文43篇，其中2017年11月的31篇紀錄被破。

注:自2017年NMT研究開始穩(wěn)步增長以來，Arxiv論文摘要一直在積極提及NMT，雖然其選題可能只涉及NMT，并不嚴格。

2月中旬至4月下旬對研究論文Slator進行了評審，與2月中旬我們在文章中首次提到的研究論文有所不同，在研究方向上有一些明顯的新動向:

對低資源語言和無監(jiān)督學(xué)習(xí)(旨在緩解低資源問題)的研究正在加強。截至4月26日的70天內(nèi)，至少有11篇論文發(fā)表。

更好的NMT競賽已經(jīng)開始了。根據(jù)SDL的報道，在截至4月26日的70天內(nèi)發(fā)表的近30篇研究論文中，他們描述了改善翻譯過程，改善翻譯輸出本身，或直接開發(fā)新的和改進的NMT引擎，從谷歌的RMNT+到語法引導(dǎo)的神經(jīng)機器翻譯。

自動神經(jīng)后期編輯就在眼前。五篇論文描述了改進后期編輯的各種方法——其中三篇描述了神經(jīng)后期編輯，另外兩篇專注于NMT引擎如何向人類后期編輯學(xué)習(xí)。

與此同時，還有關(guān)于全球NMT的會議和集會。2018年4月18日，斯萊特出席了由text shuttle CTO samuellüUBL主持的NMT會議。

這個活動展示了無國界翻譯的技術(shù)總監(jiān)，模語言自動化。公司由創(chuàng)始人Mirko Plitt和愛丁堡大學(xué)NMT研究助理教授Rico Sennrich發(fā)表的兩次演講。

普利特強調(diào)了他認為真正的突破，交互式MT，其中“用戶和技術(shù)以不同的方式工作”，并引用了自適應(yīng)MT。公司輕快的.

與此同時，森里奇聲稱，談到NMT，“我們還沒有達到最大限度?！倍遥€在Slator的《NMT 2018》報告中強調(diào)，如果有大量數(shù)據(jù)，NMT工作得非常好，但有許多語言的數(shù)據(jù)非常少。

在商業(yè)領(lǐng)域，更高質(zhì)量的機器翻譯的影響很快就能在整個供應(yīng)鏈中感受到。在過去的幾個月里，Slator與一些語言服務(wù)提供商進行了交談，他們正在積極降低單價和/或大幅提高生產(chǎn)率。