[發明專利]一種基于上下文感知自適應卷積網絡的文本分類方法

在審

• 申請號: 202211299842.2
• 申請日: 2022-10-24
• 公開（公告）號: CN115563974A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 蔡伊娜;鄭文麗;程立勛;章建方;包先雨;郭云;彭智彬
• 申請（專利權）人: 深圳市檢驗檢疫科學研究院;中國標準化研究院;深圳大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 北京中仟知識產權代理事務所(普通合伙) 11825
• 代理人: 丁瑞

本發明涉及文本分類技術領域，具體是一種基于上下文感知自適應卷積網絡的文本分類方法，其具體步驟包括S1?S4。本發明使用了多種卷積核，在提取特征的時候能夠更好的提取對分類精度有用的文本特征，對于語義單元來說，能夠讓網絡學習到更多文本信息，利用多種卷積核可以讓CNN網絡進一步考慮與當前文本關聯的更多有用信息，其次，對于多種卷積核采用網絡能夠對其進行約束，通過不同分支學習到不同卷積核的重要程度，賦予不同的權重，最終完成文本分類任務，經實驗表明本申請CACN網絡分別在AG、Yelp_F、Yelp_P三個數據集上達到了92.6％、65.5％、95.8％的準確率。

技術領域

本發明涉及文本分類技術領域，具體是一種基于上下文感知自適應卷積網絡的文本分類方法。

背景技術

文本分類任務是自然語言處理領域中一個重要的任務，對于文本分類任務而言，機器需要去處理文本，提取文本特征，采用不同形式表示相同的信息，旨在把情感信息的標簽和文本中的詞性相關聯，利用句子中相似的詞匯的相似度較高的性質達到這一目的。處理文本的語義單元包括了獨立的詞組，或是整個句子和段落，文本數據不同于數字、圖像或信號數據，深度學習模型在圖像處理領域取得了很多顯著的突破文本分類任務所面臨的主要難點就是詞的語義的和詞間的關聯信息。

TextCNN首次將CNN應用在文本分類任務上，利用多窗口提取句子中關鍵信息，從而更好的捕捉局部相關性，Wang等人使用一種緊密連接的CNN模型提取文本特征，通過更加密集的卷積層以及多尺度特征來學習文本極性，提高分類性能，Conneau等人提出了VeryDeep Convolutional Neural Networks VDCNN，它對字符的Char-CNN進行了改進，CNN提取特征能力強，但以上方法忽略了文本成分復雜的問題，積極意義的句子里有時含有消極的單詞，而這些特征會被錯誤提取，進而影響最終精度。因此，本領域技術人員提供了一種基于上下文感知自適應卷積網絡的文本分類方法，以解決上述背景技術中提出的問題。

發明內容

本發明的目的在于提供一種基于上下文感知自適應卷積網絡的文本分類方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種基于上下文感知自適應卷積網絡的文本分類方法，包括如下具體步驟：

S1、采用多層卷積層從數據集中提取特征，作為文本特征；

S2、將文本特征經過K種不同的卷積得到不同的特征圖，具體表達公式為：

其中表示經過不同卷積之后所得到的特征集合；

通過特征提取模塊進一步學習，提出更多潛在的特征信息，具體式為：

其中表示通過特征提取模塊所得到的特征，θ表示模塊T所需要優化的參數；

S3、通過損失函數對特征提取模塊學習時引入的干擾因素進行去除；

S4、通過自適應卷積學習模塊對K個卷積核的重要性機進行學習，得到帶有權重的上下文特征；

通過批量歸一化、修正線性單元處理，學習到K種不同卷積對文本分類任務有幫助的卷積核，從而學習出隱含的上下文信息，具體公式為：

α_i＝h(m_i·f_i)

式中：θ為網絡參數，σ為sigmoid激活函數，h(·)為卷積核全連接操作；

此時將特征提取模塊的特征與對應權重相乘，得到具有分類信息的問題特征Y_i，表示如下：