[發(fā)明專利]一種基于強(qiáng)制解碼的動(dòng)態(tài)抽取翻譯模板的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610420062.7
• 申請(qǐng)日: 2016-06-13
• 公開（公告）號(hào): CN107491441B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 王強(qiáng);楊木潤(rùn);肖桐;朱靖波
• 申請(qǐng)（專利權(quán)）人: 沈陽(yáng)雅譯網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F40/42
• 分類號(hào): G06F40/42;G06F40/58
• 代理公司: 沈陽(yáng)優(yōu)普達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 21234
• 代理人: 李曉光

1.一種基于強(qiáng)制解碼的動(dòng)態(tài)抽取翻譯模板的方法，其特征在于包括以下步驟：

1)輸入雙語(yǔ)句子級(jí)平行數(shù)據(jù)，分別對(duì)源語(yǔ)和目標(biāo)語(yǔ)分詞，得到分詞后的平行句對(duì)；

2)用基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)對(duì)每一個(gè)分詞后的平行句對(duì)進(jìn)行強(qiáng)制解碼，獲取翻譯推導(dǎo)信息及短語(yǔ)對(duì)對(duì)齊信息；

3)輸入待翻譯的源語(yǔ)句子，對(duì)待翻譯的源語(yǔ)句子進(jìn)行分詞，得到分詞后的待翻譯的源語(yǔ)句子；

4)從分詞后的平行句對(duì)中挑選出與分詞后的待翻譯的源語(yǔ)句子最相似的平行句對(duì)以及二者間的差異項(xiàng)；

5)利用翻譯推導(dǎo)信息及短語(yǔ)對(duì)對(duì)齊信息、從分詞后的平行句對(duì)中挑選與分詞后的待翻譯的源語(yǔ)句子最相似的平行句對(duì)以及二者間的差異項(xiàng)動(dòng)態(tài)生成翻譯模板；

對(duì)每一個(gè)分詞后的平行句對(duì)進(jìn)行強(qiáng)制解碼，獲取翻譯推導(dǎo)信息及短語(yǔ)對(duì)對(duì)齊信息為：

對(duì)于每一個(gè)分詞后的平行句對(duì)，使用基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)對(duì)其進(jìn)行強(qiáng)制解碼，獲得強(qiáng)制解碼結(jié)果；

當(dāng)一個(gè)分詞后的平行句對(duì)存在多個(gè)強(qiáng)制解碼結(jié)果時(shí)，從多個(gè)強(qiáng)制解碼的結(jié)果中選擇最優(yōu)的解碼結(jié)果，利用下式的線性模型計(jì)算每一個(gè)強(qiáng)制解碼結(jié)果的得分，選擇最高得分的強(qiáng)制解碼結(jié)果：

其中，D為強(qiáng)制解碼結(jié)果，S(D)為強(qiáng)制解碼結(jié)果的得分，α為翻譯推導(dǎo)個(gè)數(shù)的權(quán)重，L為翻譯推導(dǎo)個(gè)數(shù)，h(d_i)為翻譯推導(dǎo)的句法契合度，d_i為強(qiáng)制解結(jié)果中的一個(gè)翻譯推導(dǎo)，i為翻譯推導(dǎo)的序號(hào)，β為所有翻譯推導(dǎo)句法契合度的平均值的權(quán)重；

將樹結(jié)構(gòu)存儲(chǔ)的解碼路徑信息轉(zhuǎn)換為線性結(jié)構(gòu)，線性順序按優(yōu)先級(jí)依次為：源語(yǔ)短語(yǔ)長(zhǎng)度小的優(yōu)先、源語(yǔ)短語(yǔ)起始位置靠前的優(yōu)先。

2.按權(quán)利要求1所述的基于強(qiáng)制解碼的動(dòng)態(tài)抽取翻譯模板的方法，其特征在于：從分詞后的平行句對(duì)中挑選與分詞后的待翻譯的源語(yǔ)句子最相似的平行句對(duì)以及二者間的差異項(xiàng)為：

對(duì)已輸入的雙語(yǔ)平行數(shù)據(jù)的源語(yǔ)部分建立倒排索引，倒排索引中被檢索的對(duì)象是單詞，檢索到的內(nèi)容是出現(xiàn)該單詞的句子以及在句子中的位置信息；

對(duì)于輸入的已分詞的待翻譯的源語(yǔ)句子，在倒排索引中查找出所有相似的分詞后的平行句對(duì)的源語(yǔ)；

使用Dice系數(shù)來衡量已分詞的待翻譯的源語(yǔ)句子與倒排索引中查找出的相似的分詞后的平行句對(duì)的源語(yǔ)間的相似程度：

其中，s₁為分詞后的待翻譯的源語(yǔ)句子，s₂為查找出的相似的分詞后的平行句對(duì)的源語(yǔ)，Dice(s₁，s₂)為s₁和s₂之間的相似度得分，same(s₁，s₂)為s₁和s₂之間相同詞的個(gè)數(shù)，l_s1為s₁中的詞匯數(shù)，l_s2為s₂中的詞匯數(shù)。

3.按權(quán)利要求1所述的基于強(qiáng)制解碼的動(dòng)態(tài)抽取翻譯模板的方法，其特征在于：利用翻譯推導(dǎo)信息及短語(yǔ)對(duì)對(duì)齊信息、分詞后的平行句對(duì)中挑選與分詞后的待翻譯的源語(yǔ)句子最相似的平行句對(duì)以及二者間的差異項(xiàng)動(dòng)態(tài)生成翻譯模板為：

符合強(qiáng)制解碼產(chǎn)生的源語(yǔ)短語(yǔ)切分范圍且能包含差異項(xiàng)的長(zhǎng)度最小的短語(yǔ)片段；

在產(chǎn)生翻譯模板過程中，根據(jù)差異項(xiàng)信息的不同，可以將每個(gè)差異項(xiàng)分為插入、刪除、修改這三種狀態(tài)分別進(jìn)行處理；

若多個(gè)差異項(xiàng)產(chǎn)生的非終結(jié)符之間有交集時(shí)，對(duì)相交的非終結(jié)符合并，使得所有非終結(jié)符之間互不相交；

上述非終結(jié)符即可動(dòng)態(tài)產(chǎn)生基于待翻譯句子信息的最優(yōu)翻譯模板。

4.按權(quán)利要求3所述的基于強(qiáng)制解碼的動(dòng)態(tài)抽取翻譯模板的方法，其特征在于：對(duì)插入狀態(tài)進(jìn)行處理為包括插入點(diǎn)在一個(gè)短語(yǔ)片段內(nèi)和在兩個(gè)短語(yǔ)片段之間兩種情況：

若插入點(diǎn)在一個(gè)短語(yǔ)片段內(nèi)，則直接將此短語(yǔ)片段作為最終的非終結(jié)符；

否則插入點(diǎn)在兩個(gè)短語(yǔ)片段之間，則按照強(qiáng)制解碼生成的翻譯推導(dǎo)樹回退，直到回退到包含這兩個(gè)短語(yǔ)片段的最小的源語(yǔ)短語(yǔ)片段，且該最小的源語(yǔ)短語(yǔ)片段長(zhǎng)度不超過定義的最大閾值，則將此源語(yǔ)短語(yǔ)作為非終結(jié)符。