即使只有一家NMT供應(yīng)商，運(yùn)行基于人員的質(zhì)量分?jǐn)?shù)也是一項(xiàng)重大任務(wù)。它需要多達(dá)4000名評(píng)審人員來(lái)處理數(shù)千個(gè)項(xiàng)目。
這個(gè)過(guò)程與每一個(gè)NMT供應(yīng)商有關(guān)，他們希望知道他們系統(tǒng)的真正價(jià)值，并從真人那里獲得對(duì)其翻譯的反饋。
當(dāng)然，主要的挑戰(zhàn)在于發(fā)現(xiàn)、測(cè)試、篩選、培訓(xùn)和監(jiān)控來(lái)自不同國(guó)家和語(yǔ)言的數(shù)千名評(píng)論員——在他們同時(shí)從事數(shù)萬(wàn)個(gè)項(xiàng)目的同時(shí)監(jiān)控他們的工作。
更好的行業(yè)級(jí)質(zhì)量分?jǐn)?shù)
考慮到更大的利益，真正需要的是業(yè)界使用的標(biāo)準(zhǔn)化NMT質(zhì)量評(píng)分，它使用相同的基準(zhǔn)、字符串和評(píng)審員來(lái)衡量各種系統(tǒng)，以便比較類似的性能。由于NMT系統(tǒng)在不同類型的材料和語(yǔ)言之間的表現(xiàn)可能差異很大，因此只有使用同一組語(yǔ)言學(xué)家和相同的源材料才能產(chǎn)生真實(shí)的比較結(jié)果。這樣的分?jǐn)?shù)對(duì)于單個(gè)NMT供應(yīng)商或用戶是有用的，對(duì)于試圖決定使用哪個(gè)引擎的最終用戶或LSP也是有用的。
在行業(yè)相關(guān)層面進(jìn)行同樣的測(cè)試是一項(xiàng)更大的任務(wù)。使用10個(gè)NMT引擎、10種類型的材料、10個(gè)語(yǔ)言對(duì)和40個(gè)審閱者，項(xiàng)目參數(shù)可以總結(jié)如下:
假設(shè)評(píng)價(jià)排名前10的語(yǔ)言對(duì)，分別是EN ES、FR、DE、PT-BR、AR、RU、CN、JP、IT和KR；
10類材料——通用、法律、營(yíng)銷、金融、游戲、軟件、醫(yī)療、科技、科學(xué)、旅游；
Google、微軟(Bing)、亞馬遜、DeepL、Systran、百度、Promt、IBM Watson、Globalese、Yandex等10個(gè)領(lǐng)先的(基于web的)引擎；
40名評(píng)審員對(duì)每個(gè)項(xiàng)目進(jìn)行評(píng)分。
每次測(cè)試30串；和
每串平均12個(gè)單詞。
這總共涉及40000個(gè)單項(xiàng)測(cè)試(10個(gè)語(yǔ)言對(duì)×10個(gè)材料×10個(gè)NMT引擎×40個(gè)評(píng)論者)，每個(gè)測(cè)試至少有30個(gè)字符串，即1200000個(gè)字符串，每個(gè)字符串有12個(gè)單詞，結(jié)果約為1440萬(wàn)個(gè)單詞。這種評(píng)估是必要的，以創(chuàng)造一個(gè)真實(shí)的，可比較的和以人為基礎(chǔ)的NMT質(zhì)量指標(biāo)的例子。)。
挑戰(zhàn)是顯而易見(jiàn)的:為了產(chǎn)生一個(gè)實(shí)用的NMT樂(lè)譜，4，000名語(yǔ)言學(xué)家需要評(píng)估1，200，000個(gè)字符串，這相當(dāng)于超過(guò)1，400萬(wàn)個(gè)單詞！
項(xiàng)目的規(guī)模，參與者的數(shù)量，招募，培訓(xùn)和監(jiān)督所有審計(jì)員的要求，以及確保他們正確地完成工作，顯然是艱巨的任務(wù)，即使對(duì)于大型NMT玩家，當(dāng)然還有傳統(tǒng)的翻譯。公司。
在合理的時(shí)間內(nèi)(例如，不到一天)完成整個(gè)過(guò)程，以便結(jié)果是“新鮮的”，并且更難關(guān)聯(lián)。
有很多翻譯。機(jī)構(gòu)沒(méi)有能力、技術(shù)和運(yùn)營(yíng)能力定期進(jìn)行如此大規(guī)模的項(xiàng)目。
這是語(yǔ)言學(xué)家的翻譯。公司(OHT)擅長(zhǎng)。我們已經(jīng)招聘、培訓(xùn)和測(cè)試了50多種語(yǔ)言的數(shù)千名語(yǔ)言專家，并為我們的客戶運(yùn)行了超過(guò)100萬(wàn)個(gè)NMT評(píng)級(jí)和測(cè)試項(xiàng)目。2018年4月底，我們將發(fā)布首個(gè)以人為本的NMT質(zhì)量指數(shù)(初期覆蓋多個(gè)引擎和領(lǐng)域，后期擴(kuò)展)，目標(biāo)是在全行業(yè)推廣使用NMT。
OHT是NMT的先驅(qū)，也是為數(shù)不多的需要運(yùn)用“混合”模式的譯者之一。機(jī)構(gòu)一種是將NMT與后期編輯結(jié)合起來(lái)，以減少提供高質(zhì)量商業(yè)翻譯所需的成本和時(shí)間。傳統(tǒng)的人工翻譯領(lǐng)域已經(jīng)發(fā)生了革命，NMT指數(shù)的創(chuàng)建是OHT展示我們對(duì)NMT現(xiàn)象的承諾和經(jīng)驗(yàn)的方式。
關(guān)于未來(lái)的一句話
未來(lái)，我們可以使用同樣的技術(shù)來(lái)構(gòu)建更好的NMT質(zhì)量指數(shù)NMT，即深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。建立一個(gè)神經(jīng)質(zhì)量系統(tǒng)就像建立一個(gè)NMT系統(tǒng)。所需的要素是高質(zhì)量的翻譯、高容量和質(zhì)量評(píng)估/反饋。
有了這些組件，就有可能建立一個(gè)基于深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的質(zhì)量控制系統(tǒng)，它會(huì)像人一樣閱讀翻譯并給它評(píng)分。一旦NMT系統(tǒng)順利運(yùn)行并開發(fā)出可靠的、基于人的質(zhì)量評(píng)分/反饋，下一步就是創(chuàng)建一個(gè)神經(jīng)質(zhì)量評(píng)分。
一旦獲得神經(jīng)質(zhì)量分?jǐn)?shù)，通過(guò)將神經(jīng)質(zhì)量分?jǐn)?shù)與NMT聯(lián)系起來(lái)，就有可能使引擎相互改進(jìn)，創(chuàng)建一個(gè)自我學(xué)習(xí)和自我改進(jìn)的翻譯系統(tǒng)(顯然，它作為一個(gè)閉環(huán)系統(tǒng)沒(méi)有任何意義，因?yàn)闆](méi)有額外的外部數(shù)據(jù)就無(wú)法改進(jìn))。
