機(jī)器翻譯質(zhì)量的評(píng)估方法
我們現(xiàn)在已經(jīng)到了機(jī)器翻譯幾乎普遍使用的階段。自然，一旦實(shí)際的翻譯過(guò)程實(shí)現(xiàn)了自動(dòng)化，下一個(gè)階段就是對(duì)最終產(chǎn)品的質(zhì)量評(píng)估。我們現(xiàn)在有許多不同的選擇來(lái)評(píng)估翻譯的質(zhì)量。這項(xiàng)工作一部分需要人工完成，一部分可以由自動(dòng)化算法完成。每種方法都有優(yōu)點(diǎn)和缺點(diǎn)。在這里，我們將看看我們的團(tuán)隊(duì)在最近對(duì)這個(gè)問(wèn)題的研究中使用的方法。語(yǔ)言質(zhì)量
這是評(píng)價(jià)翻譯最傳統(tǒng)的方式。最著名的質(zhì)量評(píng)估工具是LISA QA。語(yǔ)言錯(cuò)誤根據(jù)其嚴(yán)重程度和類(lèi)型進(jìn)行分級(jí):語(yǔ)法、詞匯和標(biāo)點(diǎn)符號(hào)錯(cuò)誤、數(shù)字錯(cuò)誤等。這種評(píng)估的主要問(wèn)題是，它在機(jī)器翻譯中發(fā)現(xiàn)的錯(cuò)誤比人工翻譯多得多——比較翻譯變成了一種從糟糕的翻譯中選擇最佳的練習(xí)。也未能說(shuō)明一個(gè)事實(shí)，大多數(shù)情況下，機(jī)器翻譯會(huì)被編輯，看似嚴(yán)重的錯(cuò)誤會(huì)在下一階段的幾秒鐘內(nèi)被糾正。
編輯距離令人驚訝的是，并不是所有的語(yǔ)言學(xué)家都以同樣的方式理解這個(gè)概念。有人把它看作是需要改正的文字量，也有人把它看作是編輯使文字達(dá)到要求的質(zhì)量水平所需要的時(shí)間。我們團(tuán)隊(duì)采用的是第二種定義——語(yǔ)言提供者需要多長(zhǎng)時(shí)間才能讓譯文被接受，由質(zhì)量保證部門(mén)進(jìn)行評(píng)估。
理論上，編輯距離的比較有助于確定最佳的機(jī)器翻譯。但正如他們所說(shuō)，細(xì)節(jié)決定成敗。在這里，需要清楚的了解選擇具體翻譯方案的原因。如果目標(biāo)是提供可用的未經(jīng)編輯的文本，那么機(jī)器翻譯需要被視為最終產(chǎn)品，而如果目標(biāo)是產(chǎn)生可編輯的翻譯，那么機(jī)器翻譯應(yīng)該被視為簡(jiǎn)化和加快翻譯過(guò)程的工具。如果機(jī)器翻譯是一個(gè)產(chǎn)品，關(guān)鍵標(biāo)準(zhǔn)是要糾正的文本量，或者說(shuō)語(yǔ)言錯(cuò)誤的數(shù)量和嚴(yán)重程度，這些都是用傳統(tǒng)的翻譯評(píng)估方法來(lái)評(píng)估的。但是如果把機(jī)器翻譯看作一種工具，主要問(wèn)題是它在多大程度上提高了翻譯過(guò)程的效率， 所以關(guān)鍵的標(biāo)準(zhǔn)是編輯和翻譯花費(fèi)的時(shí)間。另一個(gè)問(wèn)題是主觀因素——每個(gè)語(yǔ)言學(xué)家都有自己的長(zhǎng)處和短處。術(shù)語(yǔ)可能是語(yǔ)言學(xué)家的弱點(diǎn)，他們可能需要花很多時(shí)間尋找正確的技術(shù)詞匯。另一個(gè)可能工作得更慢，因?yàn)樗麄兛赡鼙仨毤m正語(yǔ)法。術(shù)語(yǔ)可能是一個(gè)弱點(diǎn)——他們可能需要花費(fèi)大量時(shí)間來(lái)尋找正確的技術(shù)詞匯。另一個(gè)可能工作得更慢，因?yàn)樗麄兛赡鼙仨毤m正語(yǔ)法。術(shù)語(yǔ)可能是一個(gè)弱點(diǎn)——他們可能需要花費(fèi)大量時(shí)間來(lái)尋找正確的技術(shù)詞匯。另一個(gè)可能工作得更慢，因?yàn)樗麄兛赡鼙仨毤m正語(yǔ)法。
估計(jì)編輯距離計(jì)算編輯距離自然是一個(gè)昂貴而緩慢的過(guò)程。因此，我們的團(tuán)隊(duì)決定估計(jì)編輯文本所需的時(shí)間，而不是實(shí)際編輯它。因此，我們根據(jù)糾正錯(cuò)誤的時(shí)間而不是語(yǔ)言因素來(lái)確定三種類(lèi)型的錯(cuò)誤。
| 類(lèi)型 | 形容 | 嚴(yán)重 |
| 小錯(cuò)誤 | 需要幾秒鐘來(lái)糾正錯(cuò)誤。這些錯(cuò)誤包括數(shù)字錯(cuò)誤、拼寫(xiě)錯(cuò)誤、簡(jiǎn)單的語(yǔ)法和文體錯(cuò)誤等。 | 一個(gè) |
| 中等誤差 | 需要十幾秒才能糾正的錯(cuò)誤。這些可能包括復(fù)雜語(yǔ)法結(jié)構(gòu)中的錯(cuò)誤，詞匯和術(shù)語(yǔ)使用中的錯(cuò)誤，以及缺乏一致性。 | 三 |
| 嚴(yán)重的錯(cuò)誤 | 糾正或重寫(xiě)數(shù)據(jù)段中的錯(cuò)誤需要花費(fèi)大量時(shí)間。包括曲解原意或表達(dá)不清、翻譯不完整、錯(cuò)用復(fù)雜語(yǔ)法結(jié)構(gòu)、錯(cuò)用復(fù)雜詞匯等等。 | 六 |
可以根據(jù)以下邏輯將系數(shù)應(yīng)用于錯(cuò)誤:如果更正一個(gè)逗號(hào)需要幾秒鐘，則更正一個(gè)語(yǔ)法錯(cuò)誤需要更長(zhǎng)的時(shí)間。編輯過(guò)的剪輯需要更長(zhǎng)的時(shí)間來(lái)糾正。雖然原理相當(dāng)簡(jiǎn)單，但人為錯(cuò)誤是評(píng)估過(guò)程中不準(zhǔn)確的主要來(lái)源。我們發(fā)現(xiàn)，盡管編輯使用的標(biāo)準(zhǔn)發(fā)生了變化，但他們?nèi)匀焕^續(xù)根據(jù)語(yǔ)言標(biāo)準(zhǔn)來(lái)評(píng)估翻譯。這一結(jié)論的依據(jù)是，在用這種方法分析的所有批次中，分?jǐn)?shù)與語(yǔ)言質(zhì)量的評(píng)價(jià)結(jié)果有關(guān)，而與實(shí)際編輯距離無(wú)關(guān)。
相似百分比另一種廣泛使用的方法是將未經(jīng)編輯的譯文與編輯過(guò)的版本進(jìn)行比較。雖然這種想法乍一看似乎很有吸引力，因?yàn)楦缴?，原文的翻譯就越好，但在實(shí)踐中，并沒(méi)有發(fā)現(xiàn)這種方法是有效的。首先，用來(lái)評(píng)估相似度的算法通常是相當(dāng)不準(zhǔn)確的。比如他們經(jīng)常把大寫(xiě)字母改成小寫(xiě)字母，相當(dāng)于把整個(gè)單詞都改了。這種方法不能提供信息的第二個(gè)原因是，編輯器使用了卡特彼勒軟件中的過(guò)濾器選項(xiàng)。例如，一個(gè)文本可能包含一個(gè)術(shù)語(yǔ)的十幾個(gè)例子，但是編輯器將使用查找和替換功能來(lái)改變它。這只需要幾秒鐘就可以完成，但編輯后的文本可能會(huì)很大。
這幾天關(guān)于BLEU，hLepor，COMET，CHRF+的討論很多。如今，使用這些算法來(lái)評(píng)估翻譯質(zhì)量已經(jīng)成為一種時(shí)尚。它們確實(shí)提供了許多優(yōu)勢(shì):快速評(píng)估，幾乎零成本，并且這些工具允許用戶(hù)非常快速地比較幾十個(gè)備選翻譯。但是，如果不小心使用這些工具，比較結(jié)果很容易被誤解。所有可用的工具將評(píng)估一個(gè)文本和另一個(gè)文本之間的相似性。也就是說(shuō)，如果這些工具被提供了由人類(lèi)完成的兩種翻譯，而沒(méi)有使用參考語(yǔ)料庫(kù)中包含的短語(yǔ)，那么這些翻譯可能被評(píng)定為比使用這種短語(yǔ)的機(jī)器翻譯更差。這使我們研究團(tuán)隊(duì)的工作變得復(fù)雜，并導(dǎo)致他們得出錯(cuò)誤的結(jié)論。使用這個(gè)工具的最好方法是通過(guò)比較新版本和舊版本來(lái)衡量質(zhì)量的提高。比較許多不同的機(jī)器翻譯系統(tǒng)， 可以得出結(jié)論，提供最佳結(jié)果的系統(tǒng)是用于參考翻譯的系統(tǒng)(許多譯者使用公共機(jī)器翻譯系統(tǒng)來(lái)幫助他們完成翻譯是一個(gè)公開(kāi)的秘密)。沒(méi)有它機(jī)構(gòu)授權(quán)的“人類(lèi)”翻譯)。
另一個(gè)明顯的缺點(diǎn)是比較需要參考譯文。
結(jié)論簡(jiǎn)單任務(wù)的自動(dòng)化是我們共同未來(lái)不可避免的一個(gè)方面。我們擁有可靠的自動(dòng)評(píng)估工具只是時(shí)間問(wèn)題。但到目前為止，完全依賴(lài)它們還為時(shí)過(guò)早。至少在未來(lái)幾年內(nèi)，人工工具的使用和人類(lèi)專(zhuān)家的評(píng)估仍將是正確評(píng)估機(jī)器翻譯質(zhì)量的標(biāo)準(zhǔn)方法。關(guān)鍵是對(duì)整個(gè)過(guò)程采取明智和批判的態(tài)度。
