[發(fā)明專利]互譯句對齊方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 201910432979.2
• 申請日: 2019-05-23
• 公開（公告）號: CN110210041B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 王一鳴;張睿卿;何中軍;吳華;王海峰
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/30
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

1.一種互譯句對齊方法，其特征在于，包括：

獲取待對齊語句；

將所述待對齊語句輸入到預(yù)先訓(xùn)練的語言模型中進行處理，獲取與所述待對齊語句對應(yīng)的語義向量；

將所述語義向量輸入到預(yù)先訓(xùn)練的映射模型中進行處理，獲取映射到目標(biāo)向量空間的目標(biāo)語義向量；

獲取不同語種中待對齊語句對應(yīng)的目標(biāo)語義向量之間的相似度，根據(jù)所述相似度滿足預(yù)設(shè)條件的目標(biāo)語義向量確定互譯句對齊結(jié)果；

所述根據(jù)所述相似度滿足預(yù)設(shè)條件的目標(biāo)語義向量確定互譯句對齊結(jié)果包括：

根據(jù)第一語種的目標(biāo)待對齊語句，從第二語種的待對齊語句中確定所述相似度大于預(yù)設(shè)閾值的候選語句；

根據(jù)所述目標(biāo)待對齊語句和所述候選語句生成有向圖，其中，所述有向圖中每兩個所述相似度大于所述預(yù)設(shè)閾值的不同語種的句子之間建立相互的兩條有向邊；

通過關(guān)鍵路徑算法獲取所述有向圖中的最優(yōu)路徑，根據(jù)所述最優(yōu)路徑確定互譯句對齊結(jié)果；

其中，所述從所述第二語種的待對齊語句中確定所述相似度大于預(yù)設(shè)閾值的候選語句，包括：

選中一個語種的KD樹，并對樹中存儲的所述待對齊語句和所述待對齊語句對應(yīng)的目標(biāo)語義表示向量逐條抽取，并根據(jù)所述目標(biāo)語義向量在另一個語種的KD樹中進行匹配，通過預(yù)設(shè)的相似度閾值進行篩選，若所述另一個語種的KD樹中沒有匹配到符合所述相似度閾值的語句，則表示所述待對齊語句在當(dāng)前數(shù)據(jù)中不存在互譯句對齊關(guān)系，將所述待對齊語句舍棄，若在所述另一個語種的KD樹中匹配到符合所述相似度閾值的句子，則按照相似度排序，取前N個語句作為所述候選語句。

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取待對齊語句包括：

獲取待處理的語句數(shù)據(jù)，并將所述待處理的語句數(shù)據(jù)輸入到分類模型中進行處理，獲取所述待處理的語句數(shù)據(jù)的語種類別；

判斷所述待處理的語句數(shù)據(jù)的語種類別是否為預(yù)設(shè)的語種類別；

若是，則將所述待處理的語句數(shù)據(jù)作為所述待對齊語句。

3.如權(quán)利要求1所述的方法，其特征在于，在將所述待對齊語句輸入到預(yù)先訓(xùn)練的語言模型中進行處理之前，還包括：

獲取目標(biāo)語種的語句訓(xùn)練數(shù)據(jù)；

根據(jù)所述語句訓(xùn)練數(shù)據(jù)訓(xùn)練預(yù)設(shè)模型的處理參數(shù)，生成所述目標(biāo)語種的語言模型。

4.如權(quán)利要求1所述的方法，其特征在于，在將所述語義向量輸入到預(yù)先訓(xùn)練的映射模型中進行處理之前，還包括：

從不同語種的互譯句訓(xùn)練數(shù)據(jù)中，獲取第一語種中第一語句對應(yīng)的第一語義向量和第二語種中第二語句對應(yīng)的第二語義向量，其中，所述第一語句與所述第二語句為互譯句；

根據(jù)所述第一語義向量和所述第二語義向量訓(xùn)練機器翻譯模型的處理參數(shù)，生成所述映射模型。

5.如權(quán)利要求1所述的方法，其特征在于，在獲取映射到目標(biāo)向量空間的目標(biāo)語義向量之后，還包括：

針對每一語種通過KD樹存儲所述待對齊語句和對應(yīng)的所述目標(biāo)語義向量。