[發明專利]文本處理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202010198468.1
• 申請日: 2020-03-19
• 公開（公告）號: CN111368566B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 徐晨燦;袁寧;宮晨;石建勛
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/211;G06F40/289;G06F40/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

1.一種文本處理方法，包括：

獲得混合平行語料和目標平行語料；所述混合平行語料為從多個領域中獲取得到的平行語料；

以所述混合平行語料和所述目標平行語料作為訓練樣本，訓練預定模型得到第一翻譯模型；以及

以待處理文本作為所述第一翻譯模型的輸入，獲得針對所述待處理文本的翻譯文本，

其中，所述目標平行語料為針對目標領域的平行語料，所述目標平行語料包括通過第二翻譯模型篩選得到的平行語料；所述第二翻譯模型以所述混合平行語料作為訓練樣本訓練得到；

其中，獲得目標平行語料包括：

獲得針對所述目標領域的多個平行語料；

采用所述第二翻譯模型，確定所述多個平行語料中滿足第一條件的平行語料；以及

根據所述滿足第一條件的平行語料，獲得所述目標平行語料；

其中，所述確定所述多個平行語料中滿足第一條件的平行語料包括：針對所述多個平行語料中的第一平行語料執行以下操作：

以所述第一平行語料包括的源語句作為所述第二翻譯模型的輸入，輸出得到所述第一平行語料對應的預測翻譯語句；以及

根據所述第一平行語料包括的源語句、所述第一平行語料包括的翻譯語句以及所述第一平行語料對應的預測翻譯語句，確定所述第一平行語料是否滿足第一條件，

其中，所述第一平行語料為所述多個平行語料中的任意一個平行語料。

2.根據權利要求1所述的方法，其中，確定所述第一平行語料是否滿足第一條件包括：

確定所述第一平行語料對應的預測翻譯語句中的多個目標詞串，所述多個目標詞串中的每個目標詞串由所述預測翻譯語句中位置連續的多個第一詞組成，所述多個第一詞中目標詞的占比不小于預定占比；

確定所述多個目標詞串中長度最大的目標詞串為最大目標詞串；

確定所述最大目標詞串包括的目標詞屬于所述第一平行語料包括的翻譯語句的第一比例；以及

在所述第一比例不小于第一預定比例的情況下，確定所述第一平行語料滿足第一條件，

其中，所述目標詞包括預定詞匯表中的詞及所述多個平行語料包括的翻譯語句中的詞。

3.根據權利要求2所述的方法，其中，根據所述滿足第一條件的平行語料，獲得所述目標平行語料包括：針對所述滿足第一條件的平行語料中的第二平行語料執行以下操作：

根據所述第二平行語料對應的預測翻譯語句的最大目標詞串，確定所述第二平行語料包括的翻譯語句中滿足第二條件的至少一個分句；

確定所述第二平行語料包括的源語句中與所述第二平行語料對應的最大目標詞串匹配的至少一個第二詞；以及

拼接所述至少一個第二詞得到目標源語句，拼接所述至少一個分句得到目標翻譯語句，

其中，根據所述第二平行語料得到的目標平行語料包括所述目標源語句及所述目標翻譯語句，所述第二平行語料為所述滿足第一條件的平行語料中的任意一個平行語料。

4.根據權利要求3所述的方法，其中，確定所述第二平行語料包括的翻譯語句中滿足第二條件的至少一個分句包括：

將所述第二平行語料包括的翻譯語句進行分句處理，得到多個分句；

確定所述多個分句各自包括的目標詞在所述第二平行語料對應的最大目標詞串中出現的第二比例，得到多個第二比例；

確定所述多個第二比例中不小于第二預定比例的第二比例為目標比例；

確定所述目標比例所對應的分句為所述滿足第二條件的至少一個分句；

在所述第二比例均小于所述第二預定比例的情況下，確定所述多個第二比例中最大第二比例對應的分句為所述滿足第二條件的至少一個分句。