[發(fā)明專利]一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法

在審

• 申請?zhí)枺?/td>: 201911057476.8
• 申請日: 2019-11-01
• 公開（公告）號: CN110874410A
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計）人: 王海濤;常春勤;曾艷陽;張霄宏
• 申請（專利權(quán)）人: 河南理工大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京東方盛凡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11562
• 代理人: 張雪

本發(fā)明公開一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，首先，利用詞向量將輸入文本進(jìn)行向量表示，通過三層CNN提取文本的局部特征，進(jìn)而整合出全文語義，同時，使用LSTM存儲文本序列中歷史信息的特征，以獲取文本的上下文依賴關(guān)系，其次，將輸入向量分別與各層CNN的輸出相融合，緩解深層神經(jīng)網(wǎng)絡(luò)中層與層之間特征傳遞時出現(xiàn)的特征丟失問題。本發(fā)明適用于文本分類，具有運(yùn)行效率高、運(yùn)行時間短的優(yōu)點，解決了傳統(tǒng)分類技術(shù)在處理復(fù)雜抽象和上下文的強(qiáng)相關(guān)性文本時的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及文本數(shù)據(jù)挖掘技術(shù)領(lǐng)域，特別是涉及一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法。

背景技術(shù)

文本分類是自然語言處理(NLP)領(lǐng)域重要的研究課題之一。它能夠?qū)?fù)雜的文本信息有效的組織和管理，并且已經(jīng)廣泛應(yīng)用于網(wǎng)頁檢索、垃圾郵件過濾、情感分析等不同領(lǐng)域，受到研究者廣泛的關(guān)注。目前，常用的文本分類方法，支持向量機(jī)(Support VectorMachine，SVM)、樸素貝葉斯、決策樹、K最近鄰(K-Nearest Neighbor，KNN)等，這些方法的文本表示通常為高維度且稀疏的向量，其特征表達(dá)能力較弱，需要人工進(jìn)行特征工程，在處理海量數(shù)據(jù)和語料庫時會帶來較高的代價。文本分類中的關(guān)鍵問題在于文本表示，在傳統(tǒng)機(jī)器學(xué)習(xí)中通常以特征表示的形式出現(xiàn)，其最常用的特征表示方法是詞袋模型，但這種方法不能涵蓋詞語間的關(guān)聯(lián)關(guān)系，同時也忽略了詞序。因此，借助于卷積神經(jīng)網(wǎng)絡(luò)等網(wǎng)絡(luò)結(jié)構(gòu)自動獲取特征表達(dá)能力，去掉繁復(fù)的人工特征工程，解決傳統(tǒng)技術(shù)方法的缺陷成為當(dāng)前亟需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，以解決上述現(xiàn)有技術(shù)存在的問題，提高文本分類的運(yùn)行效率。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：本發(fā)明提供一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，包括如下步驟：

文本表示：將文本中的每個單詞都隨機(jī)初始化為一個固定長度的向量，即將文本中的單詞用詞向量表示，所述詞向量包含語義信息，便于實現(xiàn)上下文建模；所述初始化過程為：采用詞向量將單詞表示為實數(shù)詞向量；

獲取上下文關(guān)聯(lián)語義：基于長短時記憶網(wǎng)絡(luò)LSTM、改進(jìn)的基于RNN的網(wǎng)絡(luò)結(jié)構(gòu)處理長序列的神經(jīng)網(wǎng)絡(luò)，通過增加存儲單元、輸入門、遺忘門和輸出門來保存長序列的歷史信息；

文本特征提取：通過CNN提取單詞數(shù)據(jù)特征，對單詞進(jìn)行卷積運(yùn)算得到更高級的特征，每個卷積核與輸入特征的不同局部窗口進(jìn)行卷積操作，將運(yùn)算得到的特征向量經(jīng)過非線性激活函數(shù)處理后得出產(chǎn)生本層要輸出的特征；

原始特征重用：將經(jīng)過詞向量處理后的輸入向量通過拼接Concat操作與每層CNN的輸出向量進(jìn)行融合；

獲取分類結(jié)果：經(jīng)過卷積和池化操作后輸出的特征矩陣與LSTM輸出的特征矩陣進(jìn)行特征融合、重新擬合，降低特征向量的維度，再使用Dropout防止過擬合，最后計算類別的概率分布。

優(yōu)選地，獲取上下文關(guān)聯(lián)語義的步驟中，所述存儲單元用于存儲當(dāng)前時刻歷史信息，所述輸入門決定當(dāng)前時刻輸入向量對存儲單元中信息的改變量，所述遺忘門決定上一時刻歷史信息對當(dāng)前存儲單元中信息的影響程度，所述輸出門用于控制當(dāng)前存儲單元中信息的輸出量。

優(yōu)選地，文本特征提取的步驟中，所述CNN提取單詞數(shù)據(jù)特征的步驟中：輸入層用于文本中詞語對應(yīng)的詞向量自上而下的排列成矩陣；卷積層使用卷積核對文本數(shù)據(jù)進(jìn)行特征提取和特征映射；激勵層用于為線性的卷積運(yùn)算增加非線性映射；池化層包括最大池化、平均池化，用于對特征圖進(jìn)行下采樣和稀疏處理以減少數(shù)據(jù)運(yùn)算量；全連接層用于將池化后的特征圖重新擬合；輸出層用于輸出結(jié)果。

優(yōu)選地，原始特征重用中Concat操作中：要求待合并向量的維度必須相同，此時，在CNN的卷積層加入Padding，使每層CNN的輸入與輸出向量的維度保持一致。