[發(fā)明專利]一種用于英文文本的多標(biāo)簽分類方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110413713.0
• 申請(qǐng)日: 2021-04-16
• 公開（公告）號(hào): CN113220876B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 劉方愛;閆瑤瑤;王泓順
• 申請(qǐng)（專利權(quán)）人: 山東師范大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/126;G06F40/205;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆圣娟

本公開提供了一種用于英文文本的多標(biāo)簽分類方法和系統(tǒng)，所述方案包括：對(duì)待分類的文本語句以及標(biāo)簽集合進(jìn)行詞嵌入向量表示，獲得語句的詞嵌入向量矩陣以及標(biāo)簽嵌入向量；利用預(yù)訓(xùn)練的棧式降噪自動(dòng)編碼器對(duì)所述詞嵌入矩陣進(jìn)行降維；基于注意力機(jī)制，利用標(biāo)簽嵌入向量對(duì)降維后的詞嵌入矩陣進(jìn)行加權(quán)；將加權(quán)后的詞嵌入矩陣輸入到預(yù)訓(xùn)練的LSTM模型中，最后利用SoftMax函數(shù)輸出文本語句對(duì)應(yīng)的分類標(biāo)簽。所述方案利用了標(biāo)簽嵌入，使模型更加關(guān)注標(biāo)簽之間和標(biāo)簽與文本之間的關(guān)系，然后通過堆疊降噪自動(dòng)編碼器進(jìn)行降維，利用標(biāo)簽信息對(duì)降維后的詞嵌入矩陣進(jìn)行加權(quán)，最后將加權(quán)后的文本表示利用LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練分類，有效提高了分類精度和效率。

技術(shù)領(lǐng)域

本公開涉及文本數(shù)據(jù)處理領(lǐng)域，具體涉及一種用于英文文本的多標(biāo)簽分類方法和系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

隨著互聯(lián)網(wǎng)和人工智能技術(shù)的不斷發(fā)展，信息量不斷在增長(zhǎng)。對(duì)這些信息進(jìn)行有效的分類變得更加重要，然而通常一段文本不會(huì)單單屬于一個(gè)類別，所以多標(biāo)簽分類問題比單標(biāo)簽分類更加貼合實(shí)際需要，例如一段投訴文本，可能同時(shí)說明了多個(gè)部門的不足，利用多標(biāo)簽分類可以及時(shí)準(zhǔn)確進(jìn)行分類。

在不同的多標(biāo)簽分類中，問題適應(yīng)技術(shù)的分支得到了顯著探索。一些著名的分類工具，如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和決策樹已經(jīng)被用于進(jìn)行高效的多標(biāo)簽分類。但其都未考慮標(biāo)簽對(duì)文本分類的重要性，對(duì)提取的特征質(zhì)量有一定的影響。受注意力機(jī)制在計(jì)算機(jī)視覺領(lǐng)域的成功應(yīng)用的啟發(fā)，許多研究人員將注意力機(jī)制和長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)(LSTM)結(jié)合在一起用于多標(biāo)簽的分類并取得了一些提高。但是，發(fā)明人發(fā)現(xiàn)，現(xiàn)有文本分類方法中，采用LSTM雖然可以很好的捕捉英文文本上下文之間的依賴，但是，隨著信息的爆炸式增長(zhǎng)，數(shù)據(jù)維度不斷提高，現(xiàn)有基于LSTM的分類方法無法準(zhǔn)確提取英文文本的深層特征，導(dǎo)致在運(yùn)算效率及分類精度上的不足。

發(fā)明內(nèi)容

本公開為了解決上述問題，提供了一種用于英文文本的多標(biāo)簽分類的方法和系統(tǒng)，其利用了標(biāo)簽嵌入，使模型更加關(guān)注標(biāo)簽之間和標(biāo)簽與文本之間的關(guān)系，然后通過堆疊降噪自動(dòng)編碼器進(jìn)行降維，利用標(biāo)簽信息對(duì)降維后的詞嵌入矩陣進(jìn)行加權(quán)，最后將加權(quán)后的文本表示利用LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練分類，有效提高了分類精度和效率。

根據(jù)本公開實(shí)施例的第一個(gè)方面，提供了一種用于英文文本的多標(biāo)簽分類方法，包括：

對(duì)待分類的文本語句以及標(biāo)簽集合進(jìn)行詞嵌入向量表示，獲得語句的詞嵌入向量矩陣以及標(biāo)簽嵌入向量；

利用預(yù)訓(xùn)練的棧式降噪自動(dòng)編碼器對(duì)所述詞嵌入矩陣進(jìn)行降維；

基于注意力機(jī)制，利用標(biāo)簽嵌入向量對(duì)降維后的詞嵌入矩陣進(jìn)行加權(quán)；

將加權(quán)后的詞嵌入矩陣輸入到預(yù)訓(xùn)練的LSTM模型中，最后利用SoftMax函數(shù)輸出文本語句對(duì)應(yīng)的分類標(biāo)簽。

進(jìn)一步的，所述棧式降噪自動(dòng)編碼器采用SDAE網(wǎng)絡(luò)，包括兩層DAE結(jié)構(gòu)，其訓(xùn)練過程具體包括：在訓(xùn)練過程中對(duì)輸入的詞嵌入矩陣添加噪聲，將上面一層網(wǎng)絡(luò)的輸出作為下面一層的輸入，無監(jiān)督逐層訓(xùn)練。

進(jìn)一步的，所述每層自編碼層單獨(dú)進(jìn)行非監(jiān)督訓(xùn)練，以最小化輸入與重構(gòu)結(jié)果之間的誤差為訓(xùn)練目標(biāo)。

進(jìn)一步的，所述基于注意力機(jī)制利用標(biāo)簽嵌入向量對(duì)降維后的詞嵌入矩陣進(jìn)行加權(quán)，具體為：計(jì)算標(biāo)簽集合中所有標(biāo)簽嵌入向量與文本短語中的詞嵌入向量間的余弦相似性；基于所述余弦相似性，利用ReLU激活函數(shù)計(jì)算標(biāo)簽與文本短語的兼容性；利用SoftMax函數(shù)獲得標(biāo)簽與文本短語之間的注意力得分；利用所述注意力得分對(duì)所述詞嵌入矩陣進(jìn)行加權(quán)。

進(jìn)一步的，所述對(duì)待分類的文本語句以及標(biāo)簽集合進(jìn)行詞嵌入向量表示，具體包括，利用預(yù)訓(xùn)練的Glove模型將文本語句中的單詞進(jìn)行向量表示，獲得語句的詞嵌入向量矩陣；利用Glove模型對(duì)標(biāo)簽集合中的標(biāo)簽進(jìn)行向量表示，獲得標(biāo)簽嵌入向量。