[發明專利]一種基于BERT和字詞特征融合的文本分類方法

有效

• 申請號: 202110473890.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113297374B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 楊雄軍;寧希;劉昆鵬;陶妍丹;方遠;賈云海
• 申請（專利權）人: 軍事科學院系統工程研究院網絡信息研究所;電科云（北京）科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F18/2415;G06F18/25;G06N3/0464;G06N3/08
• 代理公司: 北京眾元弘策知識產權代理事務所(普通合伙) 11462
• 代理人: 宋磊

1.一種基于BERT和字詞特征融合的文本分類方法，其特征在于包括：

對待分類文本進行預處理，獲得長度和字符歸一化的第一文本的步驟，

在該步驟中，先是去除文本中不能進行后續處理的特殊字符；然后進行全半角轉換，將文本的全角字符轉換為相應的半角字符；最后統一文本長度，將待分類文本的長度與文本長度閾值L_T比較，如果超過了，則去掉待分類文本超過文本長度閾值的部分，如果不足，則在待分類文本的末尾添加占位字符補齊；

基于BERT預訓練語言模型對所述第一文本進行字符向量編碼的步驟，

在該步驟中，將所述第一文本按字符切分，然后將長度為L_T的字符序列輸入到BERT預訓練語言模型中進行維度為N_BERT的BERT編碼，為每個字符生成一個1×N_BERT維的字符向量，L_T個字符經過BERT編碼后得到L_T個1×N_BERT維的字符向量，它們組成的L_T×N_BERT維的矩陣，記為第一矩陣；

基于jieba分詞庫對所述第一文本進行分詞的步驟，

在該步驟中，使用jieba分詞庫對所述第一文本進行分詞，得到所述第一文本的詞序列C_i，i＝1,2，…,m，m為詞序列中詞的個數；

根據得到的字符向量和分詞結果拼接得到詞向量編碼的步驟，

設詞C_i中有n_i個字符，將詞C_i的n_i個字符對應的字符向量按字符在詞中的順序進行拼接，得到每個詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i；

基于雙向GRU網絡對第一詞向量編碼C_code1-i進行詞向量再編碼的步驟，

在該步驟中，將詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i輸入到雙向GRU網絡中，針對每個詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i，使用雙向GRU網絡進行再編碼，雙向GRU網絡中隱藏N_GRU個節點，再編碼后雙向GRU網絡輸出該詞C_i的1×2N_GRU維的第二詞向量編碼C_code2-i，所述第一文本的個數為m的詞序列C_i，經雙向GRU網絡再編碼后得到所述第一文本對應的m個1×2N_GRU維第二詞向量編碼C_code2-i，它們組成的m×2N_GRU維矩陣，記為第二矩陣；

對第二詞向量編碼C_code2-i進行池化的步驟，

在該步驟中，對第二矩陣中的每個1×2N_GRU維的第二詞向量編碼C_code2-i按行分別進行最大池化和平均池化，得到m×1維的最大池化矩陣和m×1維的平均池化矩陣；

將最大池化矩陣和平均池化矩陣全連接得到待分類文本的全連接特征向量的步驟，

在該步驟中，將m×1維的最大池化矩陣和m×1維的平均池化矩陣進行拼接，得到2m×1維向量，即為待分類文本的特征向量，然后將該特征向量進行全連接，得到待分類文本的全連接特征向量，使待分類文本的全連接特征向量的維度和文本類別數量相同；

根據待分類文本的全連接特征向量進行softmax分類的步驟，

在該步驟中，用softmax函數對待分類文本的全連接特征向量進行數值處理，計算對待分類文本的全連接特征向量每一個元素V_i的Softmax函數值S_i，其中，

V_i是第i個元素的輸出值，其中1≤i≤C；總的文本類別個數是C；S_i表示的是第i個元素的指數與所有元素指數之和的比值，{S_i，1≤i≤C}中最大值對應的文本類別，即為待分類文本的文本類別。