人工翻譯和機(jī)器翻譯的爭(zhēng)論可以追溯到20世紀(jì)50年代，甚至更早，既讓人著迷又讓人疲憊。近兩年神經(jīng)機(jī)器翻譯的快速發(fā)展，引發(fā)了討論的重新出現(xiàn)，甚至催生了像微軟這樣的大規(guī)模技術(shù)。公司以粗體(如果不是誤導(dǎo)的話)標(biāo)題發(fā)表研究論文，如“在漢英新聞自動(dòng)翻譯中實(shí)現(xiàn)人類平等”。
當(dāng)然，微軟的作者們確實(shí)緩和了他們的說(shuō)法。根據(jù)他們的論文，如果來(lái)自機(jī)器翻譯系統(tǒng)的候選翻譯測(cè)試集的人類質(zhì)量分?jǐn)?shù)與相應(yīng)的人類翻譯分?jǐn)?shù)之間沒(méi)有統(tǒng)計(jì)上的顯著差異，則人均等價(jià)將被實(shí)現(xiàn)。
換句話說(shuō)，如果雙語(yǔ)人類評(píng)估員判斷人類和機(jī)器翻譯的質(zhì)量相當(dāng)(分?jǐn)?shù)差異在統(tǒng)計(jì)學(xué)上不顯著)，那么“機(jī)器已經(jīng)達(dá)到了人類的同等水平”。
輸入l？烏布里、森里奇和沃爾克
現(xiàn)在，一組研究人員認(rèn)為，許多研究人員和行業(yè)專家一直在從錯(cuò)誤的角度看待問(wèn)題。
在一篇題為《機(jī)器翻譯實(shí)現(xiàn)人類平等了嗎？文件級(jí)評(píng)估案例，“愛(ài)丁堡大學(xué)博士候選人薩繆爾？烏布利和他的合著者，愛(ài)丁堡大學(xué)信息學(xué)院助理教授Rico Sennrich博士和計(jì)算語(yǔ)言學(xué)研究所的Martin Volk博士認(rèn)為，研究應(yīng)該關(guān)注文檔層面的背景，而不是句子層面的輸出比較。
作者使用專業(yè)的人工翻譯人員來(lái)評(píng)估微軟在2017年機(jī)器翻譯大會(huì)(WMT)中英新聞任務(wù)中使用的NMT引擎的性能。此外，他們還使用成對(duì)排序(人工和機(jī)器翻譯的并排比較)，并且在計(jì)算翻譯充分性和流利性時(shí)還考慮文檔級(jí)上下文。
根據(jù)他們的定義，微軟的人類平價(jià)聲稱持有水資源，但這只是因?yàn)樗麄兪褂媚壳暗腗T研究標(biāo)準(zhǔn)，根據(jù)L？烏布利的論文，這些標(biāo)準(zhǔn)不再適合有效評(píng)價(jià)NMT。
l？烏布里、森里奇和沃爾克的方法糾正了微軟研究論文中使用的一些評(píng)價(jià)問(wèn)題。
塞繆爾·勞爾
“了解了NMT的優(yōu)缺點(diǎn)，我們很難想象[微軟的]系統(tǒng)真的能達(dá)到專業(yè)人工翻譯的質(zhì)量，”L？烏布利通過(guò)電子郵件告訴斯萊特。
他解釋說(shuō)，微軟在方法上遵循了當(dāng)前的研究標(biāo)準(zhǔn)。通常，“評(píng)估者從任何測(cè)試文件中隨機(jī)地看一個(gè)句子——以隨機(jī)的順序——并根據(jù)從0到100的標(biāo)度評(píng)估它的充分性和流暢性?！?/p>
但是，在這個(gè)過(guò)程中，l？烏布利說(shuō)，評(píng)估人員“不可能”發(fā)現(xiàn)一些翻譯錯(cuò)誤，因此他們無(wú)法正確地考慮這些錯(cuò)誤。
他指出了微軟過(guò)程中的一些主要問(wèn)題，包括:
評(píng)估員是雙語(yǔ)，不一定是專業(yè)翻譯。
評(píng)價(jià)者只評(píng)價(jià)充分性，不評(píng)價(jià)流暢性。
評(píng)價(jià)者“從不直接比較人和機(jī)器的翻譯?！彼麄兎诸^看，打分。
解決直接比較的問(wèn)題，l？烏布利說(shuō)，“我們?cè)趯?shí)驗(yàn)中使用了成對(duì)排序。評(píng)估者總是看到源文本的人工和機(jī)器翻譯，并選擇更好的一個(gè)。
“我向你保證，機(jī)器翻譯界并不認(rèn)為NMT已經(jīng)達(dá)到了專業(yè)翻譯的水平，”他總結(jié)道。
這不是微軟的錯(cuò)
l？烏布里、森里奇和沃爾克的結(jié)果指出了一些有趣的事情。
主要發(fā)現(xiàn)之一是，當(dāng)提供整個(gè)文檔的上下文，而不僅僅是一個(gè)句子時(shí)，專業(yè)人工翻譯強(qiáng)烈傾向于將人工翻譯與NMT輸出進(jìn)行比較。
除此之外，同樣專業(yè)的評(píng)估員更喜歡人工翻譯的流暢度。然而，在句子水平上，是否足夠并不存在統(tǒng)計(jì)上顯著的偏好。
文檔級(jí)語(yǔ)境是目前NMT研究的重點(diǎn)。這是斯萊特的《NMT 2018》報(bào)告中討論的下一個(gè)主要問(wèn)題之一，受訪的主題專家強(qiáng)調(diào)，它包括L？烏布里和森里奇。
“這不是他們的錯(cuò)，”L？烏布里告訴斯萊特，指的是微軟，“他們使用的程序是MT社區(qū)的標(biāo)準(zhǔn)做法?！?/p>
“微軟不應(yīng)該對(duì)他們的系統(tǒng)評(píng)估負(fù)責(zé)。它遵循社區(qū)中的“最佳實(shí)踐”，基于評(píng)估句子而不是整個(gè)文檔，我們認(rèn)為MT現(xiàn)在已經(jīng)達(dá)到了“最佳實(shí)踐”需要改變的質(zhì)量水平:我們應(yīng)該使用整個(gè)文檔來(lái)判斷MT的質(zhì)量，”他說(shuō)。
事實(shí)上，在他們論文的結(jié)論中，作者寫道:“如果我們接受我們的解釋，即在我們測(cè)試的數(shù)據(jù)集上，人工翻譯確實(shí)質(zhì)量更高，那么這表明當(dāng)前機(jī)器翻譯評(píng)估的最佳實(shí)踐已經(jīng)失敗?！?/p>
然而，在他的郵件中，l？烏布利補(bǔ)充說(shuō)，微軟團(tuán)隊(duì)可以更好地處理這個(gè)標(biāo)題?！八麄冋撐牡臉?biāo)題有點(diǎn)大膽，”他說(shuō)?！氨緛?lái)應(yīng)該是這樣的:雙語(yǔ)非專業(yè)人士給我們系統(tǒng)生成的孤立句打了和專業(yè)翻譯差不多的分?！?/p>
NMT的評(píng)價(jià)需要改變。
在他們論文的結(jié)論中，l？烏布里、森里奇和沃爾克解釋說(shuō)，NMT現(xiàn)在已經(jīng)很流利了，BLEU(雙語(yǔ)評(píng)估替代品)基于單一模型甚至非專業(yè)人工翻譯的句子級(jí)輸出來(lái)評(píng)估翻譯評(píng)分已經(jīng)不夠了。
“隨著機(jī)器翻譯質(zhì)量的提高，翻譯在質(zhì)量方面將很難區(qū)分，可能是時(shí)候轉(zhuǎn)向文檔級(jí)評(píng)估，這為評(píng)估者提供了更多了解原文及其翻譯的背景，”這篇論文的結(jié)論中寫道。它進(jìn)一步解釋了文檔級(jí)評(píng)估顯示了在句子級(jí)評(píng)估中“看不見(jiàn)”的翻譯錯(cuò)誤。
我們認(rèn)為MT現(xiàn)在已經(jīng)達(dá)到了這個(gè)“最佳實(shí)踐”需要改變的質(zhì)量水平:我們應(yīng)該使用完整的文檔來(lái)判斷MT的質(zhì)量。
當(dāng)機(jī)器翻譯研究的突破被提出時(shí)，l？烏布利建議謹(jǐn)慎行事。“散布關(guān)于人類平等的謠言對(duì)研究和實(shí)踐都是危險(xiǎn)的:如果提供資金，機(jī)構(gòu)問(wèn)題根本沒(méi)有“解決”，翻譯經(jīng)理不再愿意讓專業(yè)人員修改機(jī)器翻譯輸出，他們可能也不想再資助機(jī)器翻譯研究了，”他說(shuō)。
l？烏布里的團(tuán)隊(duì)并不是第一個(gè)指出當(dāng)前MT研究社區(qū)標(biāo)準(zhǔn)需要改變的人。
在2018年斯萊特的NMT報(bào)告中，專家指出了現(xiàn)行BLEU評(píng)分標(biāo)準(zhǔn)的局限性，并提供了一些更好的選擇。在他自己的研究論文中，ADAPT數(shù)字內(nèi)容技術(shù)中心副主任安迪·韋教授說(shuō)，“基于n-gram的指標(biāo)，如BLEU，不足以真正證明NMT優(yōu)于基于短語(yǔ)的，統(tǒng)計(jì)的和混合的]機(jī)器翻譯”
Way在論文中寫道:“如果NMT確實(shí)成為該領(lǐng)域預(yù)期的最先進(jìn)的新技術(shù)，人們可以預(yù)計(jì)，更準(zhǔn)確地適應(yīng)這一范式的更多新評(píng)價(jià)指標(biāo)將很快出現(xiàn)?！?/p>
