[發(fā)明專利]一種基于強(qiáng)制解碼的動態(tài)抽取翻譯模板的方法

有效

• 申請?zhí)枺?/td>: 201610420062.7
• 申請日: 2016-06-13
• 公開（公告）號: CN107491441B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計）人: 王強(qiáng);楊木潤;肖桐;朱靖波
• 申請（專利權(quán)）人: 沈陽雅譯網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F40/42
• 分類號: G06F40/42;G06F40/58
• 代理公司: 沈陽優(yōu)普達(dá)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 21234
• 代理人: 李曉光

1.一種基于強(qiáng)制解碼的動態(tài)抽取翻譯模板的方法，其特征在于包括以下步驟：

1)輸入雙語句子級平行數(shù)據(jù)，分別對源語和目標(biāo)語分詞，得到分詞后的平行句對；

2)用基于短語的統(tǒng)計機(jī)器翻譯系統(tǒng)對每一個分詞后的平行句對進(jìn)行強(qiáng)制解碼，獲取翻譯推導(dǎo)信息及短語對對齊信息；

3)輸入待翻譯的源語句子，對待翻譯的源語句子進(jìn)行分詞，得到分詞后的待翻譯的源語句子；

4)從分詞后的平行句對中挑選出與分詞后的待翻譯的源語句子最相似的平行句對以及二者間的差異項；

5)利用翻譯推導(dǎo)信息及短語對對齊信息、從分詞后的平行句對中挑選與分詞后的待翻譯的源語句子最相似的平行句對以及二者間的差異項動態(tài)生成翻譯模板；

對每一個分詞后的平行句對進(jìn)行強(qiáng)制解碼，獲取翻譯推導(dǎo)信息及短語對對齊信息為：

對于每一個分詞后的平行句對，使用基于短語的統(tǒng)計機(jī)器翻譯系統(tǒng)對其進(jìn)行強(qiáng)制解碼，獲得強(qiáng)制解碼結(jié)果；

當(dāng)一個分詞后的平行句對存在多個強(qiáng)制解碼結(jié)果時，從多個強(qiáng)制解碼的結(jié)果中選擇最優(yōu)的解碼結(jié)果，利用下式的線性模型計算每一個強(qiáng)制解碼結(jié)果的得分，選擇最高得分的強(qiáng)制解碼結(jié)果：

其中，D為強(qiáng)制解碼結(jié)果，S(D)為強(qiáng)制解碼結(jié)果的得分，α為翻譯推導(dǎo)個數(shù)的權(quán)重，L為翻譯推導(dǎo)個數(shù)，h(d_i)為翻譯推導(dǎo)的句法契合度，d_i為強(qiáng)制解結(jié)果中的一個翻譯推導(dǎo)，i為翻譯推導(dǎo)的序號，β為所有翻譯推導(dǎo)句法契合度的平均值的權(quán)重；

將樹結(jié)構(gòu)存儲的解碼路徑信息轉(zhuǎn)換為線性結(jié)構(gòu)，線性順序按優(yōu)先級依次為：源語短語長度小的優(yōu)先、源語短語起始位置靠前的優(yōu)先。

2.按權(quán)利要求1所述的基于強(qiáng)制解碼的動態(tài)抽取翻譯模板的方法，其特征在于：從分詞后的平行句對中挑選與分詞后的待翻譯的源語句子最相似的平行句對以及二者間的差異項為：

對已輸入的雙語平行數(shù)據(jù)的源語部分建立倒排索引，倒排索引中被檢索的對象是單詞，檢索到的內(nèi)容是出現(xiàn)該單詞的句子以及在句子中的位置信息；

對于輸入的已分詞的待翻譯的源語句子，在倒排索引中查找出所有相似的分詞后的平行句對的源語；

使用Dice系數(shù)來衡量已分詞的待翻譯的源語句子與倒排索引中查找出的相似的分詞后的平行句對的源語間的相似程度：

其中，s₁為分詞后的待翻譯的源語句子，s₂為查找出的相似的分詞后的平行句對的源語，Dice(s₁，s₂)為s₁和s₂之間的相似度得分，same(s₁，s₂)為s₁和s₂之間相同詞的個數(shù)，l_s1為s₁中的詞匯數(shù)，l_s2為s₂中的詞匯數(shù)。

3.按權(quán)利要求1所述的基于強(qiáng)制解碼的動態(tài)抽取翻譯模板的方法，其特征在于：利用翻譯推導(dǎo)信息及短語對對齊信息、分詞后的平行句對中挑選與分詞后的待翻譯的源語句子最相似的平行句對以及二者間的差異項動態(tài)生成翻譯模板為：

符合強(qiáng)制解碼產(chǎn)生的源語短語切分范圍且能包含差異項的長度最小的短語片段；

在產(chǎn)生翻譯模板過程中，根據(jù)差異項信息的不同，可以將每個差異項分為插入、刪除、修改這三種狀態(tài)分別進(jìn)行處理；

若多個差異項產(chǎn)生的非終結(jié)符之間有交集時，對相交的非終結(jié)符合并，使得所有非終結(jié)符之間互不相交；

上述非終結(jié)符即可動態(tài)產(chǎn)生基于待翻譯句子信息的最優(yōu)翻譯模板。

4.按權(quán)利要求3所述的基于強(qiáng)制解碼的動態(tài)抽取翻譯模板的方法，其特征在于：對插入狀態(tài)進(jìn)行處理為包括插入點在一個短語片段內(nèi)和在兩個短語片段之間兩種情況：

若插入點在一個短語片段內(nèi)，則直接將此短語片段作為最終的非終結(jié)符；

否則插入點在兩個短語片段之間，則按照強(qiáng)制解碼生成的翻譯推導(dǎo)樹回退，直到回退到包含這兩個短語片段的最小的源語短語片段，且該最小的源語短語片段長度不超過定義的最大閾值，則將此源語短語作為非終結(jié)符。