[發明專利]一種基于BERT模型的文本風格遷移方法及系統

在審

• 申請號: 202011390079.5
• 申請日: 2020-12-02
• 公開（公告）號: CN112560439A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 王東海;衛海天
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/30;G06F16/33;G06K9/62
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

1.一種基于BERT模型的文本風格遷移方法，其特征在于，包括如下步驟：

抽取步驟：對不同平臺進行語料抽取，篩選出合格語料；

模型訓練步驟：使用所述合格語料對基于BERT的模型進行訓練；

改寫步驟：使用訓練好的所述模型對文本進行改寫，得到符合要求的風格文本。

2.如權利要求1所述的基于BERT模型的文本風格遷移方法，其特征在于，所述模型訓練步驟具體包括以下步驟：

第一訓練步驟：使用所述合格語料對Mask LM模型進行訓練；

第二訓練步驟：使用所述合格語料對Next Sentence Prediction模型進行訓練。

3.如權利要求1所述的基于BERT模型的文本風格遷移方法，其特征在于，所述改寫步驟具體包括以下步驟：

分句步驟：對所述文本進行分句處理；

第一替換步驟：使用所述Next Sentence Prediction模型對所述分句處理后的文本進行語句替換，獲取替換文本；

分詞步驟：對所述替換文本進行分詞處理；

第二替換步驟：使用所述Mask LM模型對所述分詞處理后的替換文本進行詞語替換，得到所述風格文本。

4.如權利要求3所述的基于BERT模型的文本風格遷移方法，其特征在于，所述第一替換步驟具體包括以下步驟：

第一選取步驟：選取需要替換的語句；

第二選取步驟：在目標風格的文本庫中選取符合替換條件的替換語句集合；

第三選取步驟：使用所述Next Sentence Prediction模型在所述替換語句集合中選取出替換語句。

5.如權利要求4所述的基于BERT模型的文本風格遷移方法，其特征在于，所述替換條件包括語句長度和語句相似度。

6.如權利要求3所述的基于BERT模型的文本風格遷移方法，其特征在于，所述第二替換步驟具體包括以下步驟：

代替步驟：選取需要替換的詞語，使用[MASK]代替；

輸入步驟：將所述使用[MASK]代替后的文本輸入到所述Mask LM模型中；

預測步驟：使用所述Mask LM模型預測出替換詞語。

7.一種基于BERT模型的文本風格遷移系統，其特征在于，包括：

抽取模塊，對不同平臺進行語料抽取，篩選出合格語料；

模型訓練模塊，使用所述合格語料對基于BERT的模型進行訓練；

改寫模塊，使用訓練好的所述模型對文本進行改寫，得到符合要求的風格文本。

8.如權利要求7所述的基于BERT模型的文本風格遷移系統，其特征在于，所述模型訓練模塊具體包括：

第一訓練單元，使用所述合格語料對Mask LM模型進行訓練；

第二訓練單元，使用所述合格語料對Next Sentence Prediction模型進行訓練。

9.如權利要求7所述的基于BERT模型的文本風格遷移系統，其特征在于，所述改寫模塊具體包括：

分句單元，對所述文本進行分句處理；

第一替換單元，使用所述Next Sentence Prediction模型對所述分句處理后的文本進行語句替換，獲取替換文本；

分詞單元，對所述替換文本進行分詞處理；

第二替換單元，使用所述Mask LM模型對所述分詞處理后的替換文本進行詞語替換，得到所述風格文本。

10.如權利要求9所述的基于BERT模型的文本風格遷移系統，其特征在于，所述第一替換單元具體包括：

第一選取單元，選取需要替換的語句；

第二選取單元，在目標風格的文本庫中選取符合替換條件的替換語句集合；

第三選取單元，使用所述Next Sentence Prediction模型在所述替換語句集合中選取出替換語句。