[發明專利]一種雙語平行語料的句對齊方法

有效

• 申請號: 201710433746.5
• 申請日: 2017-06-09
• 公開（公告）號: CN107391495B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 劉強;彭蓉
• 申請（專利權）人: 北京同文世紀科技有限公司
• 主分類號: G06F40/51
• 分類號: G06F40/51;G06F40/58
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;曲芳兵

1.一種雙語平行語料的句對齊方法，其特征在于，包括步驟：

A、獲取包含有源語言與目標語言的單詞互譯對及單詞互譯概率的雙語概率分布詞典；

B、根據待對齊文本的源語言與目標語言的句子數量，構建動態規劃矩陣；

根據所述動態規劃矩陣、所述雙語概率分布詞典確定基于句長信息、單詞信息、單詞互譯概率的不同對齊模式下的評價分數；

C、根據所述評價分數，確定評價分數大于指定閾值的對齊模式下的對齊路徑；

D、根據所述對齊路徑確定待對齊文本的源語言和目標語言句子的對齊路徑序列。

2.根據權利要求1所述的方法，其特征在于，所述步驟A還包括：

將所述雙語概率分布詞典中的源語言與目標語言的單詞轉換成數字編號形式存儲；

將待對齊文本的源語言及目標語言的句子根據句子順序編號，分詞后的單詞根據所述雙語概率分布詞典中的編號進行單詞編號。

3.根據權利要求2所述的方法，其特征在于，所述步驟B包括：

B1、根據待對齊文本源語言與目標語言的句子數量，構建動態規劃矩陣M_Align，其中：

cell_ij表示矩陣中的一個元素，n是源語言句子數，m是目標語言句子數；cell_ij為一三元組(score,lang1_path,lang2_path),score用于記錄當前位置上的對齊模式評價分數，lang1_path用于記錄源語言在該位置的對齊路徑，lang2_path用于記錄目標語言在該位置的對齊路徑；其中，對齊路徑用于記載對齊模式以及對應的源語言、目標語言的句子標識；

B2、設置一小于n×m的二維窗口；

B3、在待對齊的源語言句子集和目標語言的句子集中移動所述二維窗口；

分別對移動窗口所獲得的每個窗口所覆蓋的源語言句子集和目標語言的句子集，根據窗口中待對齊文本的源語言與目標語言的句長、句子集中單詞集合、句子集單詞數、單詞出現頻率及所述雙語概率分布詞典計算在該窗口范圍內的源語言句子集和目標語言句子集在不同對齊模式下的評價分數。

4.根據權利要求3所述的方法，其特征在于，所述步驟B3中的不同對齊模式下的評價分數的計算公式為：

length_penalty_sentence為句長懲罰；penalty_matrix為句長懲罰系數；xtokens為源語言句子中詞語集合分布，ytokens為目標語言句子中詞語集合分布，l_xtokens為源語言句子集單詞數，l_ytokens為目標語言句子集單詞數，X_wc為源語言句子集總單詞數,xfreq，yfreq分別為當前源語言單詞和目標語言單詞在其句子集合中的頻率值，y_wfreq為循環中當前源語言單詞在雙語概率分布詞典中的翻譯概率。

5.根據權利要求4所述的對齊方法，其特征在于，所述二維窗口為5×5大小的窗口；

所述句長懲罰系數penalty_matrix為：

P_ab表示對應a句源語言句子對b句目標語言句子的對齊模式下的句長懲罰系數。

6.根據權利要求4所述的對齊方法，其特征在于，所述句長懲罰length_penalty_sentence的計算公式為：

其中，xlen表示當前模式下窗口中源語言句子集長度，ylen表示當前模式下窗口中目標語言句子集長度，M、N表示加權配重比；L為標準對齊句對句長臨界值；δ為一個源語言字符在目標語言中所對應的平均字符數。

7.根據權利要求3所述的對齊方法，其特征在于，還包括：

在同一所述二維窗口下，同一句子存在于多個句子對時，選擇其所在句子對準確度值最高的一個句子對進行記錄。

8.根據權利要求3所述的對齊方法，其特征在于，還包括：

在不同所述二維窗口下，同一句子存在于多個句子對時，選擇其所在句子對準確度值最高的一個句子對進行記錄。