阿姆斯特丹，2019年1月16日-TAUS推出匹配數(shù)據(jù):一種為機(jī)器翻譯(MT)引擎的訓(xùn)練和調(diào)整選擇語言數(shù)據(jù)的新技術(shù)。這種新方法非常適合新一代的神經(jīng)機(jī)器翻譯，并且對訓(xùn)練數(shù)據(jù)的質(zhì)量更加敏感。匹配數(shù)據(jù)使機(jī)器翻譯開發(fā)者和語言服務(wù)提供商能夠有效地編譯定制語料庫，以便基于樣本數(shù)據(jù)集構(gòu)建他們自己的特定領(lǐng)域翻譯解決方案。
"為機(jī)器翻譯訓(xùn)練尋找語言數(shù)據(jù)一直是一個(gè)巨大的挑戰(zhàn)."TAUS導(dǎo)演賈普·范德梅爾說。“從特定領(lǐng)域選擇數(shù)據(jù)幾乎是不可能的。在2010年，我們已經(jīng)開始確定一個(gè)場景，其中一個(gè)樣本數(shù)據(jù)集，一個(gè)簡單的特定領(lǐng)域翻譯記憶庫，將幫助我們的用戶從TAUS數(shù)據(jù)云中的數(shù)十億個(gè)片段中編譯一個(gè)完全個(gè)性化的語料庫。實(shí)現(xiàn)這一目標(biāo)的技術(shù)尚未實(shí)現(xiàn)，但現(xiàn)在因?yàn)镈atAptor項(xiàng)目而成為現(xiàn)實(shí)?！?/p>
廣告
DatAptor項(xiàng)目是阿姆斯特丹大學(xué)邏輯、語言和計(jì)算研究所承擔(dān)的一個(gè)研究項(xiàng)目，由Khalil Sima'an教授領(lǐng)導(dǎo)，荷蘭STW資助。該項(xiàng)目的合作伙伴是英特爾、歐盟委員會翻譯總司和TAUS。從2013年到2016年，一組研究人員探索了不同的方法，使大量數(shù)據(jù)的數(shù)據(jù)選擇無縫有效。
“我們的夢想是讓萬維網(wǎng)本身成為所有數(shù)據(jù)選擇的來源，”哈利勒·西瑪安教授說，“但我們決定更溫和地開始，使用非常大的TAUS數(shù)據(jù)庫作為我們的狩獵場。在DatAptor中，我們了解到每個(gè)域都是許多子域的混合。在一個(gè)非常大的庫中，子域組合學(xué)包含了大量新的和未開發(fā)的選項(xiàng)。因此，如果用戶提供表示感興趣領(lǐng)域的查詢語料庫，匹配數(shù)據(jù)方法可以在存儲庫中找到合適的選擇?！?/p>
匹配數(shù)據(jù)方法通過將混合領(lǐng)域搜索語料庫中的所有句子索引為可搜索的實(shí)體，來反轉(zhuǎn)典型的搜索方法。因此，匹配數(shù)據(jù)將返回高保真數(shù)據(jù)，并為每個(gè)細(xì)分受眾分配匹配分?jǐn)?shù)。用戶可以根據(jù)需要決定下載小型、中型或大型選項(xiàng)。
Oracle國際產(chǎn)品解決方案與新TAUS匹配數(shù)據(jù)服務(wù)合作開發(fā)了一個(gè)口語語料庫，用于中文與英語、韓語、日語、西班牙語和巴西葡萄牙語之間的一般在線對話和聊天。Oracle語言專家進(jìn)行了深入的語言學(xué)評測，匹配數(shù)據(jù)檢索出的片段平均質(zhì)量得分為84%。
Jaap van der Meer說:“匹配數(shù)據(jù)被設(shè)計(jì)成一種行業(yè)社區(qū)服務(wù)。任何人都可以通過提供查詢語料庫來開始新的領(lǐng)域語料庫。產(chǎn)生的領(lǐng)域語料庫被提供在TAUS匹配數(shù)據(jù)庫中，供有興趣改進(jìn)其全球內(nèi)容解決方案的每個(gè)人使用。這個(gè)版本的匹配數(shù)據(jù)是我們打開數(shù)據(jù)市場的雄心勃勃的道路上的第一步?！?/p>
欲了解更多信息，請?jiān)L問:
十年來，TAUS數(shù)據(jù)云教會了我們?nèi)绾谓鉀Q數(shù)據(jù)鴻溝。
匹配數(shù)據(jù)白皮書
關(guān)于TAUS
TAUS，一個(gè)語言數(shù)據(jù)網(wǎng)絡(luò)，是一個(gè)獨(dú)立和中立的貿(mào)易組織。我們通過活動計(jì)劃和在線用戶組發(fā)展社區(qū)，并通過分享知識、指標(biāo)和數(shù)據(jù)，幫助翻譯行業(yè)的所有利益相關(guān)者開發(fā)更好的服務(wù)。我們?yōu)檎Z言和翻譯服務(wù)的買家和提供商提供數(shù)據(jù)服務(wù)。
分享知識和數(shù)據(jù)有助于TAUS成員決定有效的本地化策略。指標(biāo)支持更有效的過程和質(zhì)量評估的標(biāo)準(zhǔn)化。這些數(shù)據(jù)可以提高翻譯自動化。
TAUS開發(fā)了API，通過自己的翻譯平臺和工具，會員可以訪問DQF、質(zhì)量儀表板和TAUS數(shù)據(jù)市場等服務(wù)。大多數(shù)主要的翻譯技術(shù)都內(nèi)置了TAUS指標(biāo)和數(shù)據(jù)。
