[發明專利]一種文本分類模型構建方法、文本分類方法及裝置

在審

• 申請號: 202011228040.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112182229A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 肖剛
• 申請（專利權）人: 江西高創保安服務技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/30
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李博洋

1.一種文本分類模型構建方法，其特征在于，包括如下步驟：

獲取訓練文本數據以及對應所述訓練文本數據所屬領域的多個預設標簽屬性信息；

將所述訓練文本數據以及多個預設標簽屬性信息輸入到閱讀理解模型，得到每一個訓練文本數據與每一個預設標簽屬性信息之間的文本交互表示；

將每一個文本交互表示輸入到特征提取模型，得到文本關鍵特征；

將所述文本關鍵特征輸入到初始分類模型進行分類識別，得到每一個訓練文本數據隸屬于每一個預設標簽屬性信息的概率值，根據所述概率值，得到分類結果；

根據所述分類結果訓練所述初始分類模型的模型參數，直至所述初始分類模型的損失函數值滿足目標條件，得到目標文本分類模型。

2.根據權利要求1所述的方法，其特征在于，所述將所述訓練文本數據以及多個預設標簽屬性信息輸入到閱讀理解模型之前，所述方法還包括：

獲取預訓練文本數據，所述預訓練文本數據與所述訓練文本數據的領域和分類任務相同；

將所述預訓練文本數據輸入到機器學習模型中進行訓練，得到所述閱讀理解模型。

3.根據權利要求1或2所述的方法，其特征在于，將所述訓練文本數據以及多個預設標簽屬性信息輸入到閱讀理解模型，包括：

對所述訓練文本數據以及所述多個預設標簽屬性信息分別進行分詞處理，得到訓練文本數據序列和預設標簽屬性信息序列；

將所述訓練文本數據序列和預設標簽屬性信息序列進行拼接處理，輸入到閱讀理解模型。

4.根據權利要求1所述的方法，其特征在于，所述初始分類模型為多層感知機制模型，通過下式得到每一個訓練文本數據隸屬于每一個預設標簽屬性信息的概率值：

其中，p(label_j|W)表示訓練文本數據屬于第j個標簽的概率；hcnn表示文本關鍵特征；h_CLS表示首位表征向量；表示hcnn與h_CLS拼接；MLP表示多層感知機制模型的函數。

5.根據權利要求1所述的方法，其特征在于，通過下式得到所述損失函數值：

Loss＝y×p(label_j|W)+(1-y)×(1-p(label_j|W))

其中，loss表示損失函數值；y表示所述訓練文本數據的標簽屬于第j個標簽的真實概率；p(label_j|W)表訓練文本數據的標簽屬于第j個標簽的模型輸出概率。

6.一種文本分類方法，其特征在于，包括如下步驟：

獲取待分類文本以及多個預設屬性標簽信息；

將所述待分類文本以及多個預設屬性標簽信息輸入到通過權利要求1-5任一所述的文本分類模型訓練方法訓練得到的文本分類模型進行分類識別，得到文本分類結果。

7.一種文本分類模型構建裝置，其特征在于，包括：

第一獲取模塊，用于獲取訓練文本數據以及對應所述訓練文本數據所屬領域的多個預設標簽屬性信息；

第一輸入模塊，用于將所述訓練文本數據以及多個預設標簽屬性信息輸入到閱讀理解模型，得到每一個訓練文本數據與每一個預設標簽屬性信息之間的文本交互表示；

第二輸入模塊，用于將每一個文本交互表示輸入到特征提取模型，得到文本關鍵特征；

識別模塊，用于將所述文本關鍵特征輸入到初始分類模型進行分類識別，得到每一個訓練文本數據隸屬于每一個預設標簽屬性信息的概率值，根據所述概率值，得到分類結果；

模型訓練模塊，用于根據所述分類結果訓練所述初始分類模型的模型參數，直至所述初始分類模型的損失函數值滿足目標條件，得到目標文本分類模型。

8.一種文本分類裝置，其特征在于，包括：

第二獲取模塊，用于獲取待分類文本以及多個預設屬性標簽信息；

分類模塊，用于將所述待分類文本以及多個預設屬性標簽信息輸入到通過權利要求1-5任一所述的文本分類模型訓練方法訓練得到的文本分類模型進行分類識別，得到文本分類結果。