[發明專利]文本分類模型的訓練方法及相關設備

在審

• 申請號: 202010514986.X
• 申請日: 2020-06-08
• 公開（公告）號: CN111666500A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 張冠華;白冰;白琨
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06F16/35;G06F16/903;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 葉虹

本公開實施例提供了一種文本分類模型的訓練方法及裝置、電子設備和存儲介質。該方法包括：獲取訓練文本及其類別標簽信息和群體標簽信息；通過第一神經網絡模型對訓練文本進行處理，并根據類別標簽信息獲得第一神經網絡模型的初始網絡參數；通過第二神經網絡模型和第一神經網絡模型對訓練文本進行處理，獲得訓練文本的第一預測群體信息；根據訓練文本的群體標簽信息及其第一預測群體信息對抗訓練第一神經網絡模型和第二神經網絡模型，確定第一神經網絡模型的目標網絡參數，將包括目標網絡參數的第一神經網絡模型確定為文本分類模型。本公開實施例提供的方法得到的文本分類模型能夠在不損失模型精度的條件下，給出無群體歧視的分類結果。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種文本分類模型的訓練方法及裝置、電子設備和計算機可讀存儲介質。

背景技術

評論過濾是新聞、社區類等應用中的一項功能，用戶生成的評論、發言中，可能包含負面消極、甚至違反法律的信息，篩選出這些負面評論或者不良評論并將其刪除是很重要的。

相關技術中，通常采用文本分類模型來過濾評論。文本分類是自然語言處理中的基礎任務，指的是給定一句話，根據其語義判斷它的類別標簽。典型的文本分類任務包括語言情感分析、輿情監測等。在評論過濾的場景中，文本分類模型用來判斷一個評論是否是負面評論或者不良評論。

相關技術中，一般采用人工標注的數據集來訓練文本分類模型，然后利用訓練好的文本分類模型來預測用戶提交的評論是否是負面評論或者不良評論。

但是，研究發現人工標注的數據集中，常常帶有對某些少數群體的偏見與歧視，換言之，在數據集中某些群體更傾向于是某種標簽。這種數據集中的歧視可能是人類社會中固有的偏見導致的，也可能反應了數據標注者在標注過程中的歧視性偏差。相關技術中的文本分類模型在訓練過程中會學習到這種偏差，當模型在實際應用中預測時，會給出歧視性的預測結果，甚至放大這些社會偏見。

比如，在攻擊性評論檢測(Abusive Language Detection)任務中的一些數據集中，關于女性群體的句子中“攻擊性”標簽的比例明顯高于男性群體，換言之，在數據集中，包含女性群體的句子的類別標簽是“攻擊性”的概率更高。這種偏差導致用這些數據集訓練的模型可能會把“你是個好女人”誤判為“攻擊性”，盡管這句話明顯沒有任何攻擊性。這種歧視性預測的一個直接結果是女性群體有關的言論可能會受到更多限制，導致了模型對女性的歧視。

相關技術中的文本分類模型得到的分類結果含有群體歧視，偏差較大，準確性較低。

因此，需要一種新的文本分類模型的訓練方法及裝置、電子設備和計算機可讀存儲介質。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解。

發明內容

本公開實施例提供一種文本分類模型的訓練方法及裝置、電子設備和計算機可讀存儲介質，訓練得到的文本分類模型能夠至少在一定程度上減輕分類結果中的群體歧視，提高模型分類的準確性。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

本公開實施例提供一種文本分類模型的訓練方法，該方法包括：獲取訓練文本及其類別標簽信息和群體標簽信息；通過第一神經網絡模型對訓練文本進行處理，并根據訓練文本的類別標簽信息獲得第一神經網絡模型的初始網絡參數；通過第二神經網絡模型和包括初始網絡參數的第一神經網絡模型對訓練文本進行處理，獲得訓練文本的第一預測群體信息；根據訓練文本的群體標簽信息及其第一預測群體信息對抗訓練第一神經網絡模型和第二神經網絡模型，以使得第二神經網絡模型識別出訓練文本中的目標群體信息，并利用第一神經網絡模型去除目標群體信息，確定第一神經網絡模型的目標網絡參數，將包括目標網絡參數的第一神經網絡模型確定為文本分類模型。