[發(fā)明專利]一種基于注意力機(jī)制的文本分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110360121.7
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN113204640B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 于舒娟;蔡夢(mèng)夢(mèng);吳夢(mèng)潔;毛新濤;黃橙;徐欽晨;張昀;王秀梅
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/284;G06N3/047;G06N3/048;G06N3/0464;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 朱小兵

本發(fā)明提出了一種基于注意力機(jī)制的文本分類方法。所述方法使用基于DenseNet的神經(jīng)網(wǎng)絡(luò)模型；在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，利用語(yǔ)義編碼來(lái)初始化DenseNet的卷積過(guò)濾器的權(quán)重，使網(wǎng)絡(luò)在訓(xùn)練之前對(duì)重要的語(yǔ)義信息進(jìn)行辨識(shí)，從而在卷積層能捕獲每個(gè)句子的有效位置信息；通過(guò)局部注意力密集連接的模塊進(jìn)行文本信息的特征提取。本發(fā)明文本分類方法具有更強(qiáng)的特征提取能力，并保留文本信息的內(nèi)容，在包括情感分類和主題分類等多個(gè)文本分類的任務(wù)時(shí)，效果顯著，有效地提高了分類的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于自然語(yǔ)言處理中的文本分類領(lǐng)域，提出了一種基于注意力機(jī)制的文本分類方法。

背景技術(shù)

伴隨著信息數(shù)據(jù)量的快速增長(zhǎng)，自然語(yǔ)言處理在人工智能技術(shù)興起的浪潮中有了快速地發(fā)展。文本分類是自然語(yǔ)言處理的基本任務(wù)，用于自然語(yǔ)言處理的各個(gè)領(lǐng)域，如信息檢索，信息過(guò)濾和語(yǔ)義分析等方面，但是面對(duì)大數(shù)據(jù)時(shí)代涌現(xiàn)出的海量的短文本信息，如何劃分新領(lǐng)域所屬的類別，其訓(xùn)練的樣本往往是不充分的。深度學(xué)習(xí)(Deep?learning)[徐翼龍，李文法，周純潔.基于深度學(xué)習(xí)的自然語(yǔ)言處理綜述.中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)，2018.]不僅可以實(shí)現(xiàn)機(jī)器學(xué)習(xí)的自動(dòng)化，減少了面對(duì)不同問(wèn)題的人工設(shè)計(jì)成本，還增強(qiáng)了對(duì)數(shù)據(jù)中潛在信息的提取和分析能力。

深度學(xué)習(xí)主要通過(guò)深度神經(jīng)網(wǎng)絡(luò)(DNN)結(jié)構(gòu)學(xué)習(xí)提取不同水平和不同維度的有效表示特征，以此提高在不同抽象層次上對(duì)數(shù)據(jù)的解釋能力。DNN主要包括有循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)。基于RNN的模型視文本為詞序列，并可以捕獲文本分類的詞間依賴關(guān)系和文本結(jié)構(gòu)。與RNN不同，CNN的卷積和池化結(jié)構(gòu)能夠很好地提取局部特征信息，因此也成功的應(yīng)用到NLP中。Collobert等人首次將具有端到端訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)用于自然語(yǔ)言處理[Ronan?Collobert?and?Jason?Weston.2008.Aunified?architecture?fornatural?language?processing:Deep?neural?networks?with?multitask?learning.InProceedings?of?the?25th?International?Conference?on?Machine?Learning.ACM,NewY?ork,NY,USA,ICML’08,pages?160–167.]。文章[Shen?Li,Zhe?Zhao,Tao?Liu,Renfen?Hu,and?Xiaoyong?Du.2017.Initializing?convolutional?filters?with?semanticfeatures?for?text?classification.In?Proceedings?of?the?2017?Conference?onEmpirical?Methods.]優(yōu)化了傳統(tǒng)的CNN，提出了一種新的CNN權(quán)重初始化技術(shù)，在訓(xùn)練開始時(shí)對(duì)語(yǔ)義特征進(jìn)行編碼的卷積過(guò)濾器用于文本分類。隨著CNN網(wǎng)絡(luò)層數(shù)的不斷增加，網(wǎng)絡(luò)出現(xiàn)了梯度消失和模型降級(jí)(model?degradation)等新問(wèn)題。文獻(xiàn)[Le,H.T.,Cerisara,C.,Denis,A.(2017).Do?Convolutional?Networks?need?to?be?Deep?for?TextClassification？arXiv?preprint?arXiv:1707.04108.]提出了DenseNet模型通過(guò)將所有輸入層連接到輸出層，不僅改善了不同層的信息流問(wèn)題，進(jìn)一步減少了梯度消失和模型降級(jí)問(wèn)題的產(chǎn)生。針對(duì)文本數(shù)據(jù)比較復(fù)雜，使用DenseNet只是通過(guò)增加網(wǎng)絡(luò)層數(shù)對(duì)文本信息進(jìn)行簡(jiǎn)單的特征提取，這不僅會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)冗余，甚至?xí)霈F(xiàn)網(wǎng)絡(luò)退化現(xiàn)象。因此通過(guò)在神經(jīng)網(wǎng)絡(luò)DenseNet模型中加入注意力機(jī)制，能夠進(jìn)一步提取文本信息更深層次的特征，也可以自動(dòng)選擇和關(guān)注更為重要的文本特征，進(jìn)一步提高文本分類的準(zhǔn)確性。

發(fā)明內(nèi)容