[發明專利]文本分類方法、裝置、設備及存儲介質

有效

• 申請號: 202010162814.0
• 申請日: 2020-03-10
• 公開（公告）號: CN111444340B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 王興光;薛強;李鵬
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/335;G06F16/9535
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 賈允

1.一種文本分類方法，其特征在于，包括：

獲取待分類文本；

將所述待分類文本輸入到分類模型進行分類處理，得到所述待分類文本的預測結果，所述分類模型包括多個不同的向量提取模型和與每個所述向量提取模型一一對應的輸出子模型，每個所述向量提取模型用于從所述待分類文本中提取不同的融合詞向量，所述輸出子模型用于對所述融合詞向量進行分類得到所述預測結果，所述預測結果包括多個標簽種類；所述向量提取模型包括BERT模型，所述分類模型按照如下方式構建：

獲取歷史文本數據，將所述歷史文本數據分為訓練集和驗證集；

利用所述訓練集和驗證集按照訓練學習算法初步構建得到所述多個BERT模型中的第一個BERT模型和與之對應的第一輸出子模型，并得到驗證結果；所述驗證結果包括對歷史文本數據預測正確的標簽對應的概率；

基于所述驗證結果中預測正確的標簽刪除所述驗證集中預測正確的標簽，得到新的驗證集；所述新的驗證集中包括未預測正確的標簽；

利用所述訓練集和所述新的驗證集按照訓練學習算法構建得到多個BERT模型中的第二BERT模型和與之對應的第二輸出子模型，并得到新的驗證結果；

返回對所述驗證集進行刪除處理得到新的驗證集的步驟依次執行，直到構建得到多個BERT模型和每個所述BERT模型一一對應的輸出子模型。

2.根據權利要求1所述的文本分類方法，其特征在于，所述向量提取模型包括BERT模型，所述將所述待分類文本輸入到分類模型，得到所述待分類文本的預測結果，包括：

將所述待分類文本的字或詞同步地輸入到所述多個不同的BERT模型中的每一個，得到與每一個BERT模型相對應的融合詞向量；

通過與每個BERT模型一一對應的輸出子模型，對與每個BERT模型相對應的融合詞向量進行分類處理，得到所述待分類文本的預測結果。

3.根據權利要求2所述的文本分類方法，其特征在于，每個所述BERT模型包括依次相連的多個注意力機制模型，對于每個所述BERT模型，將所述待分類文本的字或詞輸入到每個BERT模型，得到與每個BERT模型相對應的融合詞向量包括以下步驟：

利用所述待分類文本的屬性信息對所述待分類文本的字或詞進行分隔處理，得到與所述屬性信息相對應的初始詞向量；

將所述初始詞向量輸入到所述多個注意力機制模型，得到與每個所述BERT模型相對應的所述融合詞向量。

4.根據權利要求2所述的文本分類方法，其特征在于，每個所述輸出子模型包括全連接層和激活函數，通過與每個BERT模型一一對應的輸出子模型，對與每個BERT模型相對應的融合詞向量進行分類處理，得到所述待分類文本的預測結果，包括：

通過所述全連接層對所述融合詞向量進行處理，得到全連接向量；

采用激活函數對所述全連接向量進行處理，得到所述待分類文本的預測結果集合，所述預測結果集合包括多個標簽種類；

將多個所述預測結果集合中相同標簽種類對應的概率值的最大值作為所述待分類文本的預測結果。

5.根據權利要求1所述的文本分類方法，其特征在于，所述利用所述訓練集和驗證集按照訓練學習算法初步構建得到第一BERT模型和與之對應的第一輸出子模型包括：

獲取歷史文本數據，將所述歷史文本數據分為訓練集和驗證集；

利用所述訓練集對待構建的第一BERT模型和第一輸出子模型進行訓練，得到待驗證的第一BERT模型和第一輸出子模型；

利用所述驗證集中對所述待驗證的第一個BERT模型和第一輸出子模型，按照損失函數最小化對所述待驗證的第一BERT模型和第一輸出子模型進行優化處理，得到第一BERT模型和第一輸出子模型。