[發(fā)明專利]用于翻譯語(yǔ)句的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811543684.4
• 申請(qǐng)日: 2018-12-17
• 公開（公告）號(hào): CN109558605B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 畢天馳;張傳強(qiáng);熊皓;何中軍;李芝;王海峰
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于生成翻譯模型的方法，包括：

獲取訓(xùn)練樣本集，其中，訓(xùn)練樣本包括源語(yǔ)言的源語(yǔ)句切分詞序列以及具有相同語(yǔ)義的目標(biāo)語(yǔ)言的目標(biāo)語(yǔ)句切分詞序列；

確定初始翻譯模型，所述初始翻譯模型包括正向編碼器、正向解碼器、反向編碼器和反向解碼器；

對(duì)于所述訓(xùn)練樣本集中的訓(xùn)練樣本，執(zhí)行以下輸入步驟：將該訓(xùn)練樣本中的源語(yǔ)句切分詞序列分別輸入所述正向編碼器和所述反向編碼器，得到第一語(yǔ)義向量和第二語(yǔ)義向量；將所得到的第一語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列輸入所述正向解碼器得到正向翻譯語(yǔ)句切分詞概率序列；將所得的第二語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列的反向序列輸入所述反向解碼器得到反向翻譯語(yǔ)句切分詞概率序列；

執(zhí)行以下?lián)p失值確定步驟：基于所述訓(xùn)練樣本集中訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率序列和反向翻譯語(yǔ)句切分詞概率序列確定總損失值；

利用機(jī)器學(xué)習(xí)方法調(diào)整所述初始翻譯模型的模型參數(shù)后再次執(zhí)行所述輸入步驟和所述損失值確定步驟，直到根據(jù)所述總損失值和所述損失值閾值的比較結(jié)果確定模型訓(xùn)練完成，將所述初始翻譯模型確定為所生成的翻譯模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將所得到的第一語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列輸入所述正向解碼器得到正向翻譯語(yǔ)句切分詞概率序列，包括：

將所得到的第一語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列輸入所述正向解碼器，得到正向翻譯語(yǔ)句切分詞概率分布矩陣，正向翻譯語(yǔ)句切分詞概率分布矩陣用于表征正向翻譯語(yǔ)句中每個(gè)切分詞是預(yù)設(shè)切分詞表中各個(gè)切分詞的概率值；

用所得到的正向翻譯語(yǔ)句切分詞概率分布矩陣中每個(gè)切分詞屬于預(yù)設(shè)切分詞表中各個(gè)切分詞的概率值中的最大值所對(duì)應(yīng)的切分詞和相應(yīng)的概率值生成正向翻譯語(yǔ)句切分詞概率序列。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述將所得的第二語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列的反向序列輸入所述反向解碼器得到反向翻譯語(yǔ)句切分詞概率序列，包括：

將所得的第二語(yǔ)義向量和該訓(xùn)練樣本中的目標(biāo)語(yǔ)句切分詞序列的反向序列輸入所述反向解碼器，得到反向翻譯語(yǔ)句切分詞概率分布矩陣，反向翻譯語(yǔ)句切分詞概率分布矩陣用于表征反向翻譯語(yǔ)句中每個(gè)切分詞是所述預(yù)設(shè)切分詞表中每個(gè)切分詞的概率值；

用所得到的反向翻譯語(yǔ)句切分詞概率分布矩陣中每個(gè)切分詞屬于所述預(yù)設(shè)切分詞表中每個(gè)切分詞的概率值中的最大值所對(duì)應(yīng)的切分詞和相應(yīng)的概率值生成反向翻譯語(yǔ)句切分詞概率序列。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述基于所述訓(xùn)練樣本集中訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率序列和對(duì)應(yīng)的反向翻譯語(yǔ)句切分詞概率序列確定總損失值，包括：

分別將所述訓(xùn)練樣本集中各訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率序列對(duì)應(yīng)的交叉熵?fù)p失和反向翻譯語(yǔ)句切分詞序列對(duì)應(yīng)的交叉熵?fù)p失確定為正向交叉熵?fù)p失和反向交叉熵?fù)p失；

將所述訓(xùn)練樣本集中訓(xùn)練樣本的正向翻譯語(yǔ)句切分詞概率分布矩陣和反向翻譯語(yǔ)句切分詞概率分布矩陣的反向矩陣的加權(quán)矩陣，確定為該訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率分布加權(quán)矩陣；

將所述訓(xùn)練樣本集中訓(xùn)練樣本的反向翻譯語(yǔ)句切分詞概率分布矩陣和正向翻譯語(yǔ)句切分詞概率分布矩陣的反向矩陣的加權(quán)矩陣，確定為該訓(xùn)練樣本對(duì)應(yīng)的反向翻譯語(yǔ)句切分詞概率分布矩陣加權(quán)矩陣；

將用所述訓(xùn)練樣本集中訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率分布矩陣擬合訓(xùn)練樣本對(duì)應(yīng)的正向翻譯語(yǔ)句切分詞概率分布加權(quán)矩陣的相對(duì)熵確定為正向相對(duì)熵?fù)p失；

將用所述訓(xùn)練樣本集中訓(xùn)練樣本對(duì)數(shù)的反向翻譯語(yǔ)句切分詞概率分布矩陣擬合訓(xùn)練樣本對(duì)應(yīng)的反向翻譯語(yǔ)句切分詞概率分布加權(quán)矩陣的相對(duì)熵確定為反向相對(duì)熵?fù)p失；

將所述正向交叉熵?fù)p失、所述反向交叉熵?fù)p失、所述正向相對(duì)熵?fù)p失和所述反向相對(duì)熵?fù)p失的加權(quán)和確定為所述總損失值。