2018年5月17日，在SlatorCon活動(dòng)期間，神經(jīng)機(jī)器翻譯(NMT)通常占據(jù)顯著位置，SlatorCon London是Nobu例外。在活動(dòng)大會(huì)上，活動(dòng)合作伙伴Systran的全球首席技術(shù)官Jean Senellart討論了NMT的一個(gè)方面，他也發(fā)現(xiàn)了令人興奮和可怕的一面:開源競(jìng)爭(zhēng)。
Senellart簡(jiǎn)要介紹了已有50年歷史的機(jī)器翻譯。公司希斯特蘭，這個(gè)公司經(jīng)驗(yàn)豐富并直接參與所有機(jī)器翻譯技術(shù)的生產(chǎn)級(jí)部署-從常規(guī)機(jī)器翻譯到統(tǒng)計(jì)機(jī)器翻譯再到NMT。
他還談到了開放NMT的成功，開源NMT框架Systran和哈佛大學(xué)共同努力向觀眾介紹法國(guó)。公司Ubiqus加入他們合資公司的最新情況。
自2017年初發(fā)布以來，OpenNMT已經(jīng)發(fā)展成為第二大開源NMT項(xiàng)目，包括18個(gè)主要版本，3300個(gè)星號(hào)和1020個(gè)Github分支，6次完整的代碼重構(gòu)。
這就是Senellart談到他演講核心的地方:“我們?cè)谡務(wù)?000行代碼。我們同時(shí)討論的有大有小。”
NMT改變了MT的歷史
當(dāng)塞尼拉特說他在談?wù)搨ゴ蟮氖虑闀r(shí)，他通常指的是NMT如何徹底改變了珠穆朗瑪峰的歷史。
在演講中，Senellart展示了基于規(guī)則的MT在1968年投入生產(chǎn)，并一直保持主導(dǎo)地位，直到2007年，統(tǒng)計(jì)MT足以用于生產(chǎn)。然后到了2016年，基本上兩年前的技術(shù)很快就會(huì)接手。
“SMT是IBM在20世紀(jì)90年代創(chuàng)立的。進(jìn)入工業(yè)化生產(chǎn)用了15年，”塞內(nèi)拉特說。“NMT于2014年由學(xué)術(shù)界推出，用了兩年時(shí)間才被業(yè)界接受?！?/p>
除了開發(fā)速度和行業(yè)采用的巨大差異，Senellart還注意到了每種技術(shù)在被視為其主要資產(chǎn)方面的差異。在基于規(guī)則的機(jī)器翻譯中，資產(chǎn)是代碼和積累的語言資源。對(duì)于統(tǒng)計(jì)噸來說，資產(chǎn)就是數(shù)據(jù)。
塞內(nèi)拉特說:“數(shù)據(jù)越多，數(shù)據(jù)越好，等式就越簡(jiǎn)單?！?#34;將數(shù)據(jù)翻倍，你會(huì)得到一個(gè)藍(lán)色的觀點(diǎn)."他還指出，將機(jī)器翻譯統(tǒng)計(jì)系統(tǒng)化的第一次嘗試始于統(tǒng)計(jì)機(jī)器翻譯統(tǒng)治時(shí)期。
最后，NMT沖進(jìn)現(xiàn)場(chǎng)，伴隨著另一項(xiàng)資產(chǎn)轉(zhuǎn)移:“我們不再談?wù)摯髷?shù)據(jù)；我們談?wù)摰氖呛玫臄?shù)據(jù)，”塞內(nèi)拉特說。
開源的質(zhì)量
除了數(shù)據(jù)資產(chǎn)思維方式的改變，Senellart強(qiáng)調(diào)NMT的開源方面也很重要。“如果你看看過去兩年，每個(gè)月都會(huì)有兩個(gè)關(guān)于NMT的新開源項(xiàng)目，所以這是不可思議的，”他說。
雖然這看起來令人鼓舞，但塞內(nèi)拉特指出，其中許多人正在“死亡”，即新項(xiàng)目沒有得到維持。甚至谷歌會(huì)啟動(dòng)一個(gè)新的開源項(xiàng)目，只是放棄維護(hù)而轉(zhuǎn)向新技術(shù)或開發(fā)，這反映了NMT技術(shù)發(fā)展的速度。
Senellart還提醒人們，盡管大多數(shù)開源項(xiàng)目來自學(xué)術(shù)界，但最活躍的項(xiàng)目來自行業(yè)參與者。例如，谷歌處理最大的開源項(xiàng)目和最多的活動(dòng)，其次是Systran自己的開放NMT。名單上的第三個(gè)是臉書。
“如果你看看過去兩年，每個(gè)月都會(huì)有兩個(gè)關(guān)于NMT的新開源項(xiàng)目，這太不可思議了?！? Sigstran全球首席技術(shù)官Jean Senellart
Senellart指出，這很“奇怪”，因?yàn)樵诖酥埃雀?、亞馬遜和Salesforce等大型技術(shù)。公司沒有積極的開源文化。他接著說，技術(shù)的發(fā)展通常是一篇論文發(fā)表以后，這通常是在Arxiv.org的研究數(shù)據(jù)庫(kù)中找到的。
“不開放的玩家很少，那些沒有開源項(xiàng)目的玩家，”Senellart說，他們中的一些人認(rèn)為deepL、全知和微軟都是。然而，他們確實(shí)公布了他們的“數(shù)字”，就像成績(jī)單一樣，他們公布了使用BLEU等測(cè)量結(jié)果的NMT發(fā)動(dòng)機(jī)的性能。
所以這就是開源的好處之一:即使是競(jìng)爭(zhēng)對(duì)手之間也有合作。
根據(jù)Senellart的說法，2017年有250種關(guān)于NMT的出版物?！笆澜缟蠜]有人。公司你可以復(fù)制250篇論文，只是為了檢查它們是對(duì)還是錯(cuò)，這就是為什么今天開源是必要的原因之一。
事實(shí)上，Senellart指出，NMT技術(shù)發(fā)展如此之快，以至于在14個(gè)月內(nèi)，所使用的技術(shù)發(fā)生了三次主要的范式轉(zhuǎn)變。第一批研究人員使用了遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，然后他們蜂擁至臉書領(lǐng)導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)，最后是谷歌的自我注意力轉(zhuǎn)換器模型。
Senellart在技術(shù)發(fā)展和人類如何處理語言和翻譯之間畫了一條有趣的平行線。RNN按順序處理翻譯，每個(gè)單詞都包含單詞。CNN更一般地處理單詞序列。最后，基于注意力的方法字面上更關(guān)注文本的某些部分，這可能會(huì)對(duì)文本的理解和翻譯產(chǎn)生很大的影響。
“世界上沒有人。公司你可以復(fù)制250篇論文，只是為了檢查它們是對(duì)還是錯(cuò)，這是今天開源的必需品之一。"
當(dāng)然，隨著好事的到來，壞事是開源競(jìng)爭(zhēng)加快了開發(fā)速度，這也意味著積極的參與者必須“為生存而戰(zhàn)”，Senellart說。
“開源項(xiàng)目非常脆弱，”他解釋道。Systran必須支持開放NMT的用戶和社區(qū)，共享數(shù)據(jù)，甚至失敗的實(shí)驗(yàn)，修復(fù)問題，使一切穩(wěn)定和兼容，等等。
“我記得一年前，我接到一個(gè)來自Booking.com的電話，他使用了開放的NMT，”Senellart告訴觀眾?！八麄儎倓倖栁沂欠駮?huì)在一年內(nèi)打開NMT，因?yàn)槲覀儸F(xiàn)在開始生產(chǎn)。你能保證一年之內(nèi)你還在嗎？”
編譯:語言學(xué)家上海翻譯公司
