[發明專利]文本分類方法、裝置、存儲介質及設備

有效

• 申請號: 202010159121.6
• 申請日: 2020-03-09
• 公開（公告）號: CN111444709B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 劉巍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/295;G06F40/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種文本分類方法，其特征在于，所述方法包括：

獲取待處理文本；

調用情感分析模型中的目標語言模型對所述待處理文本進行編碼處理，得到特征向量序列，所述目標語言模型為基于變換器的雙向編碼表征BERT模型，所述特征向量序列表征了所述待處理文本中詞之間的上下文關系；

對確定的目標詞進行向量化處理得到目標特征向量，所述目標詞包括出現在所述待處理文本中的詞語，或者所述目標詞包括未出現在所述待處理文本中的詞語；

對所述特征向量序列和所述目標特征向量進行第一特征融合處理，根據得到的第一特征向量和所述特征向量序列獲取第二特征向量；

將所述第二特征向量和所述目標特征向量輸入所述情感分析模型中的第二全連接層進行特征拼接處理，得到第二中間特征序列；

對所述第二中間特征序列進行第二線性變換處理；

將得到的第二線性變換結果通過第二激活函數進行第二非線性變換處理，得到第三特征向量；基于得到的所述第三特征向量，預測所述目標詞在所述待處理文本中的情感極性；

所述方法還包括：

獲取訓練數據集和目標訓練參數，所述訓練數據集中包括訓練樣本和與所述訓練樣本匹配的情感極性標簽；

根據所述目標訓練參數，以所述訓練樣本作為初始模型的輸入，以與所述訓練樣本匹配的情感極性標簽作為所述初始模型的輸出，對所述初始模型進行訓練；

獲取測試數據集，響應于所述初始模型對所述測試數據集的預測準確率高于目標閾值，停止訓練過程，得到所述情感分析模型，所述測試數據集中包括測試樣本和與所述測試樣本匹配的情感極性標簽；

其中，所述預測準確率是基于所述初始模型輸出的情感極性預測結果和與所述測試樣本匹配的情感極性標簽確定的。

2.根據權利要求1所述的方法，其特征在于，所述目標語言模型包括順次堆疊設置的N層結構相同的特征編碼器，N的取值為正整數，所述方法還包括：

在所述目標語言模型的預訓練過程中，獲取訓練語料的詞向量、句子編碼向量和位置編碼向量；

將所述詞向量、所述句子編碼向量和所述位置編碼向量進行相加處理，將得到的特征向量作為輸入特征輸入所述目標語言模型的第一層特征編碼器；

通過堆疊設置的各層特征編碼器依次對所述輸入特征進行編碼處理，直至最后一層特征編碼器，其中，上一層特征編碼器的輸入作為下一層特征編碼器的輸出；將所述最后一層特征編碼器輸出的特征確定為所述訓練語料的特征向量序列。

3.根據權利要求2所述的方法，其特征在于，各層特征編碼器中均包括多頭注意力層和前饋神經網絡層；所述通過堆疊設置的各層特征編碼器依次對所述輸入特征進行編碼處理，包括：

對于第j層特征編碼器中包含的多頭注意力層的第i個頭結構，獲取所述第i個頭結構對應的第一線性變換矩陣、第二線性變換矩陣和第三線性變換矩陣；其中，i和j的取值均為正整數，1≤j≤N；

分別根據所述第一線性變換矩陣、所述第二線性變換矩陣和所述第三線性變換矩陣，對所述第i個頭結構的輸入特征進行線性變換處理，依次得到所述第i個頭結構的查詢序列、鍵序列和值序列；根據所述第i個頭結構的查詢序列、鍵序列和值序列，獲取所述第i個頭結構的輸出特征；

將各個頭結構的輸出特征進行特征拼接處理，得到組合特征；

基于第四線性變換矩陣對所述組合特征進行線性變換處理，得到所述多頭注意力層的輸出特征；

將所述多頭注意力層的輸出特征輸入所述前饋神經網絡層，將所述前饋神經網絡層的輸出作為第j+1層特征編碼器的輸入特征。

4.根據權利要求1所述的方法，其特征在于，所述目標訓練參數包括：學習率、所述訓練數據集的遍歷次數和L2正則化項中的一種或多種。

5.根據權利要求1至4中任一項權利要求所述的方法，其特征在于，所述對所述特征向量序列和所述目標特征向量進行第一特征融合處理，包括：

將所述特征向量序列和所述目標特征向量輸入所述情感分析模型中的第一全連接層進行特征拼接處理，得到第一中間特征序列；

對所述第一中間特征序列進行第一線性變換處理；

將得到的第一線性變換結果通過第一激活函數進行第一非線性變換處理，得到所述第一特征向量。