[發明專利]一種基于BERT模型的文本風格遷移方法及系統

在審

• 申請號: 202011390079.5
• 申請日: 2020-12-02
• 公開（公告）號: CN112560439A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 王東海;衛海天
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/30;G06F16/33;G06K9/62
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

本申請公開了一種基于BERT模型的文本風格遷移方法及系統，所述方法包括：對不同平臺進行語料抽取，篩選出合格語料；使用所述合格語料對基于BERT的模型進行訓練；使用訓練好的所述模型對文本進行改寫，得到符合要求的風格文本。通過本申請，可使用特定風格的語料訓練模型，對文本的風格進行轉換，將生成的文本遷移到需要的風格。

技術領域

本發明涉及計算機應用，自然語言處理領域。更具體的說，本發明涉及一種基于BERT模型的文本風格遷移方法及系統。

背景技術

目前，機器自動生成文本成為了一項很熱門且很方便的技術。但是機器本身生成的文本僵硬而且無趣，為了讓機器自動生成的文本更具趣味和積極，需要控制生成文本的風格。由于風格本身是抽象的，要想直接控制生成的文本的風格無疑具備很大的難度，但是從一種風格轉變成另一種風格難度就降低了。因此，研究文本風格遷移技術在學術界和工業界具有很高的應用價值。

文本風格遷移在文本生成和數據增強等領域具有十分廣泛的應用前景。例如當某個風格的語料不足以支撐訓練好一個文本生成模型的時候，可以使用足夠的通用語料訓練文本生成模型來生成文本，然后再使用較少量的樣本訓練模型，將生成的文本遷移到需要的風格。目前大部分工作是將句子映射到一個隱藏的語義空間中去，然后再將其轉換到目標風格的語義空間，但是仍存在以下問題：

1、這種轉換方式很難剝離句子的文本信息和風格信息；

2、難以控制生成文本的生成質量，可能造成句子不通順，甚至上下文語義沖突；

3、需要人工標注的對齊語料，然而標注成本高昂，且文本風格遷移任務缺乏平行的語料庫。例如對于情感風格而言，擁有很多積極的情感語料和很多消極的情感語料，但是它們并不是一一對應的關系。也就是說，對于一句話缺少同時具備積極情感和消極情感的兩種表達。

發明內容

本申請實施例提供了一種基于BERT模型的文本風格遷移方法，以至少解決相關技術中主觀因素影響的問題。

本發明提供了一種基于BERT模型的文本風格遷移方法，所述方法包括以下步驟：

抽取步驟：對不同平臺進行語料抽取，篩選出合格語料；

模型訓練步驟：使用所述合格語料對基于BERT的模型進行訓練；

改寫步驟：使用訓練好的所述模型對文本進行改寫，得到符合要求的風格文本。

作為本發明的進一步改進，所述模型訓練步驟具體包括以下步驟：

第一訓練步驟：使用所述合格語料對Mask LM模型進行訓練；

第二訓練步驟：使用所述合格語料對Next Sentence Prediction模型進行訓練。

作為本發明的進一步改進，所述改寫步驟具體包括以下步驟：

分句步驟：對所述文本進行分句處理；

第一替換步驟：使用所述Next Sentence Prediction模型對所述分句處理后的文本進行語句替換，獲取替換文本；

分詞步驟：對所述替換文本進行分詞處理；

第二替換步驟：使用所述Mask LM模型對所述分詞處理后的替換文本進行詞語替換，得到所述風格文本。

作為本發明的進一步改進，所述第一替換步驟具體包括以下步驟：

第一選取步驟：選取需要替換的語句；

第二選取步驟：在目標風格的文本庫中選取符合替換條件的替換語句集合；

第三選取步驟：使用所述Next Sentence Prediction模型在所述替換語句集合中選取出替換語句。