[發(fā)明專利]一種多標(biāo)簽文本分類處理方法及系統(tǒng)、信息數(shù)據(jù)處理終端

在審

• 申請?zhí)枺?/td>: 202010106132.8
• 申請日: 2020-02-20
• 公開（公告）號: CN111428026A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 裴慶祺;王玉燕;馬立川;肖陽
• 申請（專利權(quán)）人: 西安電子科技大學(xué);西安西電鏈融科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種多標(biāo)簽文本分類處理方法，其特征在于，所述多標(biāo)簽文本分類處理方法包括：

第一步，獲取包含文本序列和標(biāo)簽空間的數(shù)據(jù)集；

第二步，對數(shù)據(jù)進(jìn)行預(yù)處理，去除沒有意義的單詞，繁體字轉(zhuǎn)換為簡體字等，將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

第三步，通過BERT預(yù)訓(xùn)練模型微調(diào)提取文本序列中所有單詞的全局特征向量，采用卷積神經(jīng)網(wǎng)絡(luò)對得到的全局特征向量進(jìn)行聚合，得到文本序列中每個(gè)單詞的語義向量，保存最佳語義向量模型；

第四步，分別計(jì)算每個(gè)標(biāo)簽與文本序列中所有單詞的權(quán)重系數(shù)，構(gòu)建注意力權(quán)重系數(shù)矩陣，調(diào)整得到最優(yōu)權(quán)重系數(shù)矩陣，分別將每個(gè)單詞的語義向量與最優(yōu)權(quán)重系數(shù)矩陣進(jìn)行加權(quán)，得到標(biāo)簽的注意力向量；

第五步，對所有標(biāo)簽的注意力向量進(jìn)行歸一化處理，得到每個(gè)標(biāo)簽的概率，選取概率最大的幾個(gè)標(biāo)簽作為文本的類別。

2.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，所述文本序列包含若干個(gè)單詞，每條文本對應(yīng)的標(biāo)簽空間包含多個(gè)標(biāo)簽。

3.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，所述多標(biāo)簽文本分類處理方法通過BERT預(yù)訓(xùn)練模型微調(diào)的方式提取文本序列中所有單詞的全局特征向量的步驟包括：加載Google官方的BERT中文預(yù)訓(xùn)練模型；讀取自己的文本數(shù)據(jù)集；調(diào)整模型參數(shù)，得到每個(gè)單詞的全局特征向量并保存。

4.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，所述用卷積神經(jīng)網(wǎng)絡(luò)對所得全局特征向量進(jìn)行聚合的步驟為：通過訓(xùn)練學(xué)習(xí)獲得卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值參數(shù)和偏置參數(shù)；利用訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)對全局特征向量進(jìn)行聚合，得到文本序列中所有單詞的語義向量。

5.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，所述注意力權(quán)重系數(shù)矩陣的構(gòu)建步驟為：計(jì)算標(biāo)簽空間中每個(gè)標(biāo)簽與文本序列中每個(gè)詞的相似度向量，并構(gòu)建相似度矩陣；利用非線性激活函數(shù)去除相似度矩陣中余弦相似度小于零的向量，得到注意力權(quán)重系數(shù)矩陣。

6.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，所述對注意力權(quán)重系數(shù)矩陣進(jìn)行處理的步驟為：對注意力權(quán)重系數(shù)矩陣進(jìn)行動態(tài)最大池化處理；對處理后的權(quán)重系數(shù)矩陣中的權(quán)重矩陣向量進(jìn)行歸一化處理，獲得最優(yōu)權(quán)重系數(shù)矩陣。

7.如權(quán)利要求1所述的多標(biāo)簽文本分類處理方法，其特征在于，得到標(biāo)簽的注意力向量后，利用全線性連接層對標(biāo)簽的注意力向量進(jìn)行線性歸一化處理，選取概率最大的幾個(gè)為文本的類別。

8.一種接收用戶輸入程序存儲介質(zhì)，所存儲的計(jì)算機(jī)程序使電子設(shè)備執(zhí)行權(quán)利要求任意一項(xiàng)所述包括下列步驟：

第一步，獲取包含文本序列和標(biāo)簽空間的數(shù)據(jù)集；

第二步，對數(shù)據(jù)進(jìn)行預(yù)處理，去除沒有意義的詞，繁體字轉(zhuǎn)換為簡體字等，將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

第三步，通過BERT預(yù)訓(xùn)練模型微調(diào)提取文本序列中所有單詞的全局特征向量，采用卷積神經(jīng)網(wǎng)絡(luò)對得到的全局特征向量進(jìn)行聚合，得到文本序列中每個(gè)單詞的語義向量，保存最佳語義向量模型；

第四步，分別計(jì)算每個(gè)標(biāo)簽與文本序列中所有單詞的權(quán)重系數(shù)，構(gòu)建注意力權(quán)重系數(shù)矩陣，調(diào)整得到最優(yōu)權(quán)重系數(shù)矩陣，分別將文本序列中每個(gè)單詞的語義向量與最優(yōu)權(quán)重系數(shù)矩陣進(jìn)行加權(quán)，得到標(biāo)簽的注意力向量；

第五步，對標(biāo)簽注意力向量進(jìn)行歸一化處理，得到每個(gè)標(biāo)簽的概率，選取概率最大的幾個(gè)作為文本的類別。