[發明專利]訓練文本判別模型的方法及系統

在審

• 申請號: 202011347328.2
• 申請日: 2020-11-26
• 公開（公告）號: CN112328750A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 蔡曉華
• 申請（專利權）人: 上海天旦網絡科技發展有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種訓練文本判別模型的方法，其特征在于，包括：

樣本抽取步驟：從真實語言庫中抽取真實語言樣本輸入生成模型；

樣本生成步驟：生成模型對抽取的真實語言樣本插入、刪除或替換修飾詞得到第一新語言樣本；生成模型對抽取的真實語言樣本在主干詞中引入混淆詞得到第二新語言樣本；

判別步驟：將第一新語言樣本或第二新語言樣本輸入判別模型，判別模型將輸入的第一新語言樣本或第二新語言樣本與真實語言樣本進行比較，判斷第一新語言樣本或第二新語言是正樣本還是負樣本；

判別模型更新步驟：比較判別模型的判斷結果與生成模型的期望，根據比較結果更新判別模型的模型參數；

生成模型更新步驟：生成模型根據判別模型更新后的模型參數更新生成模型的模型參數。

2.根據權利要求1所述的訓練文本判別模型的方法，其特征在于，所述樣本生成步驟包括：

對于插入修飾詞，所述生成模型根據抽取的真實語言樣本判斷可插入位置，在判斷得到的可插入位置插入修飾詞；

對于刪除修飾詞，所述生成模型根據抽取的真實語言樣本判斷修飾詞位置，刪除判斷得到的修飾詞位置的修飾詞；

對于替換修飾詞，所述生成模型根據抽取的真實語言樣本判斷修飾詞位置，用新的修飾詞替換判斷得到的修飾詞位置的修飾詞；

其中，插入、刪除或替換修飾詞不改變抽取的真實語言樣本本身屬于正樣本或負樣本的分類。

3.根據權利要求1所述的訓練文本判別模型的方法，其特征在于，所述樣本生成步驟包括：

對于引入混淆詞，所述生成模型根據抽取的真實語言樣本判斷主干詞的位置和類別，用混淆詞插入或替換所述主干詞，從而改變抽取的真實語言樣本本身屬于正樣本或負樣本的分類。

4.根據權利要求1所述的訓練文本判別模型的方法，其特征在于，所述判別步驟中比較的方式包括：將第一新語言樣本或第二新語言樣本進行向量化和KL散度計算，若計算結果的分布差異小于預設值，則判別模型判斷第一新語言樣本或第二新語言樣本為正樣本，反之判別模型判斷為負樣本。

5.根據權利要求1所述的訓練文本判別模型的方法，其特征在于，所述判別模型更新步驟包括：

在判別模型的判斷結果與生成模型的期望一致時，判別模型通過反向傳遞函數更新模型參數，使判別模型給出正確的判別的概率更高；

在判別模型的判斷結果與生成模型的期望不一致時，判別模型通過反向傳遞函數更新模型參數，使判別模型給出錯誤的判別的概率更低；

所述生成模型更新步驟包括：生成模型在判別模型更新后的模型參數基礎上，根據先前判別模型最容易判別錯誤以及未來最容易判別錯誤的方向計算梯度，分別更新生成模型的模型參數。

6.一種訓練文本判別模型的系統，其特征在于，包括：

樣本抽取模塊：從真實語言庫中抽取真實語言樣本輸入生成模型；

樣本生成模塊：生成模型對抽取的真實語言樣本插入、刪除或替換修飾詞得到第一新語言樣本；生成模型對抽取的真實語言樣本在主干詞中引入混淆詞得到第二新語言樣本；

判別模塊：將第一新語言樣本或第二新語言樣本輸入判別模型，判別模型將輸入的第一新語言樣本或第二新語言樣本與真實語言樣本進行比較，判斷第一新語言樣本或第二新語言是正樣本還是負樣本；

判別模型更新模塊：比較判別模型的判斷結果與生成模型的期望，根據比較結果更新判別模型的模型參數；

生成模型更新模塊：生成模型根據判別模型更新后的模型參數更新生成模型的模型參數。

7.根據權利要求6所述的訓練文本判別模型的系統，其特征在于，所述樣本生成模塊包括：

對于插入修飾詞，所述生成模型根據抽取的真實語言樣本判斷可插入位置，在判斷得到的可插入位置插入修飾詞；

對于刪除修飾詞，所述生成模型根據抽取的真實語言樣本判斷修飾詞位置，刪除判斷得到的修飾詞位置的修飾詞；

對于替換修飾詞，所述生成模型根據抽取的真實語言樣本判斷修飾詞位置，用新的修飾詞替換判斷得到的修飾詞位置的修飾詞；

其中，插入、刪除或替換修飾詞不改變抽取的真實語言樣本本身屬于正樣本或負樣本的分類。