[發(fā)明專利]一種多標(biāo)簽文本分類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110272724.1
• 申請日: 2021-03-13
• 公開（公告）號: CN113220874B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 解福;鄭興芳;徐傳杰
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/289;G06N3/0464;G06N3/0442;G06N3/0455
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆圣娟

1.一種多標(biāo)簽文本分類方法，其特征在于，包括：

根據(jù)文本內(nèi)容預(yù)先確定標(biāo)簽空間；

對待分類的文本進(jìn)行分詞，獲得文本序列；

假設(shè)在文本序列X中有L個單詞，它的組成為(w1,w2,....,wL)，從嵌入矩陣E∈R?d×|V|中獲得單詞表示矩陣e＝(e1,e2,...,eL)，ei∈Rd；其中，d是嵌入向量的維度，|v|是單詞量的大小；其中所述嵌入矩陣為用word2vec將文本進(jìn)行向量化所得到的矩陣；

在所述文本序列中嵌入位置矢量，并將其輸入到訓(xùn)練好的多標(biāo)簽文本分類模型中，輸出所述文本序列的標(biāo)簽預(yù)測；

其中，所述多標(biāo)簽文本分類模型包括編碼器和解碼器，所述文本序列通過編碼器中的卷積塊和自注意力機(jī)制分別獲取文本序列的局部信息和全局信息，組合后的局部信息和全局信息通過解碼器進(jìn)行解碼獲得標(biāo)簽預(yù)測結(jié)果；

所述編碼器中的卷積塊采用一維卷積和非線性激活函數(shù)，其中，所述一維卷積的卷積核寬度與文本序列的單詞數(shù)量相同，同時為了能夠得到更高級別的局部信息，選擇使用堆疊網(wǎng)絡(luò)，并將剩余連接添加到塊輸出中；所述非線性激活函數(shù)采用門控線性單元，通過所述門控線性單元實現(xiàn)卷積輸出的門控機(jī)制；

所述編碼器中的自注意力機(jī)制采用多頭自注意力機(jī)制，也就是通過多個自注意力機(jī)制疊加的方式。

2.如權(quán)利要求1所述的一種多標(biāo)簽文本分類方法，其特征在于，為了確保輸入數(shù)據(jù)的均衡分布，采用層歸一化來控制輸入序列的分布和方差，所述層歸一化通過將卷積塊的卷積核的寬度設(shè)置成單調(diào)遞減的形式。

3.如權(quán)利要求1所述的一種多標(biāo)簽文本分類方法，其特征在于，考慮到標(biāo)簽之間的相關(guān)性，將前一時刻所預(yù)測的標(biāo)簽結(jié)果使用到對當(dāng)前標(biāo)簽的預(yù)測中去，所述解碼器采用長短時記憶神經(jīng)網(wǎng)絡(luò)作為基本循環(huán)單元對序列進(jìn)行解碼從而獲得最終的預(yù)測標(biāo)簽。

4.一種多標(biāo)簽文本分類系統(tǒng)，采用權(quán)利要求1-3任一項權(quán)利要求所述的多標(biāo)簽文本分類方法，其特征在于，包括：

標(biāo)簽空間獲取單元，其用于根據(jù)文本內(nèi)容預(yù)先確定標(biāo)簽空間；

文本序列獲取單元，其用于對待分類的文本進(jìn)行分詞，獲得文本序列；

標(biāo)簽預(yù)測單元，其用于在所述文本序列中嵌入位置矢量，并將其輸入到訓(xùn)練好的多標(biāo)簽文本分類模型中，輸出所述文本序列的標(biāo)簽預(yù)測；

其中，所述多標(biāo)簽文本分類模型包括編碼器和解碼器，所述文本序列通過編碼器中的卷積塊和自注意力機(jī)制分別獲取文本序列的局部信息和全局信息，組合后的局部信息和全局信息通過解碼器進(jìn)行解碼獲得標(biāo)簽預(yù)測結(jié)果。

5.如權(quán)利要求4所述的一種多標(biāo)簽文本分類系統(tǒng)，其特征在于，所述編碼器中的卷積塊采用一維卷積和非線性激活函數(shù)，其中，所述一維卷積的卷積核寬度與文本序列的單詞數(shù)量相同，同時為了能夠得到更高級別的局部信息，選擇使用堆疊網(wǎng)絡(luò)，并將剩余連接添加到塊輸出中；所述非線性激活函數(shù)采用門控線性單元，通過所述門控線性單元實現(xiàn)卷積輸出的門控機(jī)制。

6.如權(quán)利要求4所述的一種多標(biāo)簽文本分類系統(tǒng)，其特征在于，考慮到標(biāo)簽之間的相關(guān)性，將前一時刻所預(yù)測的標(biāo)簽結(jié)果使用到對當(dāng)前標(biāo)簽的預(yù)測中去，所述解碼器采用長短時記憶神經(jīng)網(wǎng)絡(luò)作為基本循環(huán)單元對序列進(jìn)行解碼從而獲得最終的預(yù)測標(biāo)簽。

7.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1-3任一項所述的一種多標(biāo)簽文本分類方法。

8.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-3任一項所述的一種多標(biāo)簽文本分類方法。