[發(fā)明專利]基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210301878.3
• 申請日: 2022-03-25
• 公開（公告）號: CN114676254A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 姜也;王宜敏
• 申請（專利權(quán)）人: 青島科技大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06F40/289
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 祖之強(qiáng)

本發(fā)明提供了一種基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類方法及系統(tǒng)，包括：獲取待分類的文本信息；依據(jù)獲取的文本信息，以及預(yù)設(shè)的文本分類模型，得到分類結(jié)果；其中，所述文本分類模型以分層結(jié)構(gòu)的形式構(gòu)建了多個注意機(jī)制，將句子級和文檔級的輸入分別轉(zhuǎn)換為句子和文檔編碼器；本發(fā)明以自注意作為神經(jīng)網(wǎng)絡(luò)的主要構(gòu)建塊，不僅提高了對距離關(guān)系的建模能力，而且由于前饋結(jié)構(gòu)，自注意網(wǎng)絡(luò)的訓(xùn)練速度也更快；引入了層次神經(jīng)結(jié)構(gòu)，它將句子級和文檔級的輸入分別轉(zhuǎn)換為句子和文檔編碼器，實(shí)現(xiàn)了最先進(jìn)的分類精度。

技術(shù)領(lǐng)域

本發(fā)明屬于文本分類相關(guān)技術(shù)領(lǐng)域，尤其涉及一種基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類方法及系統(tǒng)。

背景技術(shù)

文本分類是自然語言處理(NLP)中的一項(xiàng)基本任務(wù)，其目的是為給定的文本自動分配標(biāo)簽；傳統(tǒng)的文本分類方法采用詞袋(BoW)等技術(shù)獲得的詞共現(xiàn)信息、關(guān)鍵詞頻率-逆文檔頻率(TF-IDF)或隱含迪約克雷主題分布作為訓(xùn)練分類器的特征；這些方法將文本轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，這樣就可以根據(jù)出現(xiàn)的單詞自動地對大量文檔進(jìn)行文檔摘要、分類和聚類等任務(wù)。

發(fā)明人發(fā)現(xiàn)，上述方法中文檔表示存在維度稀疏性，這導(dǎo)致了較高的計(jì)算成本，同時也忽視了文本中的上下文信息；傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一次性掃描整個文檔，沒有利用文檔的層次性特征，如單詞和句子之間的結(jié)構(gòu)關(guān)系，句子和文檔之間的結(jié)構(gòu)關(guān)系，導(dǎo)致了分類精度較低。

發(fā)明內(nèi)容

本發(fā)明為了解決上述問題，提出了一種基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類方法及系統(tǒng)，本發(fā)明通過聚合多個具有不同窗口大小的卷積層來增強(qiáng)特征提取，并以自注意作為神經(jīng)網(wǎng)絡(luò)的主要構(gòu)建塊，自注意網(wǎng)絡(luò)可以通過更短的網(wǎng)絡(luò)路徑連接距離較遠(yuǎn)的單詞，不僅提高了對距離關(guān)系的建模能力，而且由于前饋結(jié)構(gòu)，自注意網(wǎng)絡(luò)的訓(xùn)練速度也更快；引入了層次神經(jīng)結(jié)構(gòu)，它將句子級和文檔級的輸入分別轉(zhuǎn)換為句子和文檔編碼器，并實(shí)現(xiàn)了最先進(jìn)的分類精度。

第一方面，本發(fā)明提供了一種基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類方法，包括：

獲取待分類的文本信息；

依據(jù)獲取的文本信息，以及預(yù)設(shè)的文本分類模型，得到分類結(jié)果；

其中，所述文本分類模型以分層結(jié)構(gòu)的形式構(gòu)建了多個注意機(jī)制，將句子級和文檔級的輸入分別轉(zhuǎn)換為句子和文檔編碼器；首先，在所述文本分類模型的層次結(jié)構(gòu)中將多頭自注意力與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合；然后，通過交互學(xué)習(xí)文檔編碼器中自注意塊前后的句子級表示；最后，通過組合由主題模型生成的主題分布豐富文檔表示。

進(jìn)一步的，利用軟注意順序編碼句子級和文檔級表示的重要性。

進(jìn)一步的，通過聚合多個具有不同窗口大小的卷積層增強(qiáng)特征提取。

進(jìn)一步的，利用協(xié)同注意機(jī)制交互式地學(xué)習(xí)具有不同抽象級別的句子表示，并在文檔編碼器中豐富文檔級表示。

進(jìn)一步的，通過融合來自主題詞分布的全局共現(xiàn)信息和來自LDA模型生成的文檔-主題分布的每個文檔主題概率，擴(kuò)展詞級和文檔級輸入的特征表示。

進(jìn)一步的，自注意機(jī)制通過將每個條目與同一序列中的所有條目進(jìn)行比較來關(guān)注序列中的每個位置；自注意的輸出序列包含每個條目的信息以及它與所有條目的關(guān)系；通過全連接層計(jì)算每個入口位置的查詢、鍵和值向量；從序列的不同部分學(xué)習(xí)注意力權(quán)重。

進(jìn)一步的，利用卷積層和池化層使自注意網(wǎng)絡(luò)從查詢、鍵和值向量中獲得表達(dá)表示，以增強(qiáng)特征提取的能力。

第二方面，本發(fā)明還提供了一種基于主題感知的分層多注意網(wǎng)絡(luò)的文本分類系統(tǒng)，包括：

數(shù)據(jù)采集模塊，被配置為：獲取待分類的文本信息；

分類模塊，被配置為：依據(jù)獲取的文本信息，以及預(yù)設(shè)的文本分類模型，得到分類結(jié)果；