[發(fā)明專(zhuān)利]一種基于BERT和字詞特征融合的文本分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110473890.8
• 申請(qǐng)日: 2021-04-29
• 公開(kāi)（公告）號(hào): CN113297374B
• 公開(kāi)（公告）日: 2023-09-12
• 發(fā)明（設(shè)計(jì)）人: 楊雄軍;寧希;劉昆鵬;陶妍丹;方遠(yuǎn);賈云海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 軍事科學(xué)院系統(tǒng)工程研究院網(wǎng)絡(luò)信息研究所;電科云（北京）科技有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/289;G06F18/2415;G06F18/25;G06N3/0464;G06N3/08
• 代理公司: 北京眾元弘策知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11462
• 代理人: 宋磊

1.一種基于BERT和字詞特征融合的文本分類(lèi)方法，其特征在于包括：

對(duì)待分類(lèi)文本進(jìn)行預(yù)處理，獲得長(zhǎng)度和字符歸一化的第一文本的步驟，

在該步驟中，先是去除文本中不能進(jìn)行后續(xù)處理的特殊字符；然后進(jìn)行全半角轉(zhuǎn)換，將文本的全角字符轉(zhuǎn)換為相應(yīng)的半角字符；最后統(tǒng)一文本長(zhǎng)度，將待分類(lèi)文本的長(zhǎng)度與文本長(zhǎng)度閾值L_T比較，如果超過(guò)了，則去掉待分類(lèi)文本超過(guò)文本長(zhǎng)度閾值的部分，如果不足，則在待分類(lèi)文本的末尾添加占位字符補(bǔ)齊；

基于BERT預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述第一文本進(jìn)行字符向量編碼的步驟，

在該步驟中，將所述第一文本按字符切分，然后將長(zhǎng)度為L(zhǎng)_T的字符序列輸入到BERT預(yù)訓(xùn)練語(yǔ)言模型中進(jìn)行維度為N_BERT的BERT編碼，為每個(gè)字符生成一個(gè)1×N_BERT維的字符向量，L_T個(gè)字符經(jīng)過(guò)BERT編碼后得到L_T個(gè)1×N_BERT維的字符向量，它們組成的L_T×N_BERT維的矩陣，記為第一矩陣；

基于jieba分詞庫(kù)對(duì)所述第一文本進(jìn)行分詞的步驟，

在該步驟中，使用jieba分詞庫(kù)對(duì)所述第一文本進(jìn)行分詞，得到所述第一文本的詞序列C_i，i＝1,2，…,m，m為詞序列中詞的個(gè)數(shù)；

根據(jù)得到的字符向量和分詞結(jié)果拼接得到詞向量編碼的步驟，

設(shè)詞C_i中有n_i個(gè)字符，將詞C_i的n_i個(gè)字符對(duì)應(yīng)的字符向量按字符在詞中的順序進(jìn)行拼接，得到每個(gè)詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i；

基于雙向GRU網(wǎng)絡(luò)對(duì)第一詞向量編碼C_code1-i進(jìn)行詞向量再編碼的步驟，

在該步驟中，將詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i輸入到雙向GRU網(wǎng)絡(luò)中，針對(duì)每個(gè)詞C_i的n_i×N_BERT維的第一詞向量編碼C_code1-i，使用雙向GRU網(wǎng)絡(luò)進(jìn)行再編碼，雙向GRU網(wǎng)絡(luò)中隱藏N_GRU個(gè)節(jié)點(diǎn)，再編碼后雙向GRU網(wǎng)絡(luò)輸出該詞C_i的1×2N_GRU維的第二詞向量編碼C_code2-i，所述第一文本的個(gè)數(shù)為m的詞序列C_i，經(jīng)雙向GRU網(wǎng)絡(luò)再編碼后得到所述第一文本對(duì)應(yīng)的m個(gè)1×2N_GRU維第二詞向量編碼C_code2-i，它們組成的m×2N_GRU維矩陣，記為第二矩陣；

對(duì)第二詞向量編碼C_code2-i進(jìn)行池化的步驟，

在該步驟中，對(duì)第二矩陣中的每個(gè)1×2N_GRU維的第二詞向量編碼C_code2-i按行分別進(jìn)行最大池化和平均池化，得到m×1維的最大池化矩陣和m×1維的平均池化矩陣；

將最大池化矩陣和平均池化矩陣全連接得到待分類(lèi)文本的全連接特征向量的步驟，

在該步驟中，將m×1維的最大池化矩陣和m×1維的平均池化矩陣進(jìn)行拼接，得到2m×1維向量，即為待分類(lèi)文本的特征向量，然后將該特征向量進(jìn)行全連接，得到待分類(lèi)文本的全連接特征向量，使待分類(lèi)文本的全連接特征向量的維度和文本類(lèi)別數(shù)量相同；

根據(jù)待分類(lèi)文本的全連接特征向量進(jìn)行softmax分類(lèi)的步驟，

在該步驟中，用softmax函數(shù)對(duì)待分類(lèi)文本的全連接特征向量進(jìn)行數(shù)值處理，計(jì)算對(duì)待分類(lèi)文本的全連接特征向量每一個(gè)元素V_i的Softmax函數(shù)值S_i，其中，

V_i是第i個(gè)元素的輸出值，其中1≤i≤C；總的文本類(lèi)別個(gè)數(shù)是C；S_i表示的是第i個(gè)元素的指數(shù)與所有元素指數(shù)之和的比值，{S_i，1≤i≤C}中最大值對(duì)應(yīng)的文本類(lèi)別，即為待分類(lèi)文本的文本類(lèi)別。