[發(fā)明專利]基于ETM的質(zhì)量評估

有效

• 申請?zhí)枺?/td>: 201810997385.1
• 申請日: 2018-08-31
• 公開（公告）號: CN109118109B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 劉國
• 申請（專利權(quán)）人: 傳神語聯(lián)網(wǎng)網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F40/58
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及基于ETM的質(zhì)量評估。提出了一種基于ETM的翻譯質(zhì)量評估系統(tǒng)，包括翻譯陣列模塊、待譯語料輸入模塊、譯員測試模塊、翻譯質(zhì)量得分顯示模塊以及ETM模塊，所述翻譯陣列模塊和譯員測試模塊分別于所述ETM模塊數(shù)據(jù)連接，所述待譯語料輸入模塊將待譯語料輸入所述翻譯陣列模塊，所述翻譯陣列模塊將所述待譯語料的至少一個(gè)翻譯結(jié)果輸出至所述ETM模塊；所述ETM模塊基于所述翻譯陣列模塊輸出的至少一個(gè)翻譯結(jié)果與所述譯員測試模塊輸入的測試結(jié)果，對所述譯員的翻譯質(zhì)量進(jìn)行評分，并將結(jié)果顯示在所述翻譯質(zhì)量得分顯示模塊上。

技術(shù)領(lǐng)域

本發(fā)明涉及基于ETM的質(zhì)量評估，更具體的，涉及一種基于ETM（EvaluationTransformer Machine）的翻譯質(zhì)量評估系統(tǒng)。

背景技術(shù)

當(dāng)前，評價(jià)一個(gè)人的書面翻譯能力，主要通過各種測試方式對其進(jìn)行打分評價(jià)。例如，采用主觀題和客觀題相結(jié)合的考試評分方法。對于客觀題而言，候選者只需要選擇出正確的候選項(xiàng)就可以得分，這部分評分工作可以通過機(jī)器統(tǒng)計(jì)測試完成；對于主觀題而言，由于不同的翻譯者對同一待譯條目給出的翻譯各不相同，而通常出題者給出的參考答案有限，如果采用簡單的機(jī)器統(tǒng)計(jì)，則極易產(chǎn)生誤判，因?yàn)楹芸赡艹霈F(xiàn)不同翻譯者給出的各不相同的翻譯結(jié)果有可能和參考答案均不相同，但是卻均是正確答案的情況。

此時(shí)，通常引入人工評卷的手段。但是，當(dāng)試卷的數(shù)量巨大，如果每一份試卷均采用人工評卷，則必將顯著提升測試工作量，增加測試成本。

而在實(shí)際場景中，在譯員翻譯以及考核譯員的時(shí)候，都會(huì)有一個(gè)對譯員的翻譯質(zhì)量進(jìn)行評價(jià)的過程，這一過程也都是有相應(yīng)的翻譯指導(dǎo)教師進(jìn)行，非常的耗費(fèi)人力，同時(shí)又很強(qiáng)的主觀性。

發(fā)明內(nèi)容

為解決現(xiàn)有的翻譯能力評估以及翻譯質(zhì)量評估存在的問題，本發(fā)明提出了一種多語言翻譯中譯員翻譯質(zhì)量自動(dòng)評價(jià)引擎，能夠借助多種機(jī)器翻譯引擎的共同結(jié)果，自動(dòng)化的給出譯員翻譯的翻譯質(zhì)量評價(jià)得分。

在本發(fā)明的第一個(gè)方面，提出了一種基于ETM的翻譯質(zhì)量評估系統(tǒng)，包括翻譯陣列模塊、待譯語料輸入模塊、譯員測試模塊、翻譯質(zhì)量得分顯示模塊以及ETM模塊，所述翻譯陣列模塊和譯員測試模塊分別于所述ETM模塊數(shù)據(jù)連接，所述待譯語料輸入模塊將待譯語料輸入所述翻譯陣列模塊，所述翻譯陣列模塊將所述待譯語料的至少一個(gè)翻譯結(jié)果輸出至所述ETM模塊；所述ETM模塊基于所述翻譯陣列模塊輸出的至少一個(gè)翻譯結(jié)果與所述譯員測試模塊輸入的測試結(jié)果，對所述譯員的翻譯質(zhì)量進(jìn)行評分，并將結(jié)果顯示在所述翻譯質(zhì)量得分顯示模塊上；

具體而言，所述ETM模塊名為Evaluation Transformer Machine，是基于已有的譯員翻譯質(zhì)量數(shù)據(jù)以及所述待譯語料的多種已有翻譯結(jié)果訓(xùn)練得出的機(jī)器學(xué)習(xí)引擎；所述機(jī)器學(xué)習(xí)引擎基于所述翻譯陣列模塊輸出的至少一個(gè)翻譯結(jié)果與所述譯員測試模塊輸入的測試結(jié)果進(jìn)行擬合，基于擬合結(jié)果得出所述翻譯質(zhì)量評分。

實(shí)際實(shí)現(xiàn)時(shí)，所述翻譯陣列模塊包括多種翻譯引擎，每種翻譯引擎獨(dú)立輸出相應(yīng)的翻譯結(jié)果。例如，準(zhǔn)備一個(gè)多種翻譯引擎組合而成的翻譯陣列，包括Baidu、google、搜狗、微軟、有道等主流的翻譯引擎。此翻譯陣列包含了很多的多語種的高質(zhì)量翻譯引擎，所以只要聚合多種引擎組成翻譯陣列的原因在于，對于多語種和細(xì)分領(lǐng)域來說，沒有一種引擎能夠在所有領(lǐng)域保證高質(zhì)量的翻譯結(jié)果，聚合盡量多的引擎，就能夠最大程度的保證了作為評價(jià)基礎(chǔ)數(shù)據(jù)的引擎輸出，最少有一個(gè)可靠的評價(jià)數(shù)據(jù)。

進(jìn)一步的，所述ETM模塊基于已有的譯員翻譯質(zhì)量數(shù)據(jù)以及所述待譯語料的多種已有翻譯結(jié)果進(jìn)行機(jī)器學(xué)習(xí)得到擬合函數(shù)，將所述譯員測試模塊輸入的測試結(jié)果代入所述擬合函數(shù)，即可輸出翻譯質(zhì)量評分。

例如，基于 一個(gè)通過數(shù)據(jù)訓(xùn)練得出的ETM：ETM通過機(jī)器學(xué)習(xí)方式得到一個(gè)擬合函數(shù)，此擬合函數(shù)通過翻譯引擎得到翻譯輸出作為評價(jià)基礎(chǔ)數(shù)據(jù)，來擬合譯員的翻譯結(jié)果，然后通過擬合結(jié)果和譯員翻譯結(jié)果計(jì)算分布距離，此分布距離就可以作為譯員翻譯質(zhì)量的評價(jià)，距離越小，則翻譯質(zhì)量越高；