[發(fā)明專利]一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法

在審

• 申請?zhí)枺?/td>: 201911057476.8
• 申請日: 2019-11-01
• 公開（公告）號: CN110874410A
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計）人: 王海濤;常春勤;曾艷陽;張霄宏
• 申請（專利權(quán)）人: 河南理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京東方盛凡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11562
• 代理人: 張雪

1.一種基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于，包括如下步驟：

文本表示：將文本中的每個單詞都隨機初始化為一個固定長度的向量，即將文本中的單詞用詞向量表示，所述詞向量包含語義信息，便于實現(xiàn)上下文建模；所述初始化過程為：采用詞向量將單詞表示為實數(shù)詞向量；

獲取上下文關(guān)聯(lián)語義：基于長短時記憶網(wǎng)絡(luò)LSTM、改進的基于RNN的網(wǎng)絡(luò)結(jié)構(gòu)處理長序列的神經(jīng)網(wǎng)絡(luò)，通過增加存儲單元、輸入門、遺忘門和輸出門來保存長序列的歷史信息；

文本特征提取：通過CNN提取單詞數(shù)據(jù)特征，對單詞進行卷積運算得到更高級的特征，每個卷積核與輸入特征的不同局部窗口進行卷積操作，將運算得到的特征向量經(jīng)過非線性激活函數(shù)處理后得出產(chǎn)生本層要輸出的特征；

原始特征重用：將經(jīng)過詞向量處理后的輸入向量通過拼接Concat操作與每層CNN的輸出向量進行融合；

獲取分類結(jié)果：經(jīng)過卷積和池化操作后輸出的特征矩陣與LSTM輸出的特征矩陣進行特征融合、重新擬合，降低特征向量的維度，再使用Dropout防止過擬合，最后計算類別的概率分布。

2.根據(jù)權(quán)利要求1所述的基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于：獲取上下文關(guān)聯(lián)語義的步驟中，所述存儲單元用于存儲當前時刻歷史信息，所述輸入門決定當前時刻輸入向量對存儲單元中信息的改變量，所述遺忘門決定上一時刻歷史信息對當前存儲單元中信息的影響程度，所述輸出門用于控制當前存儲單元中信息的輸出量。

3.根據(jù)權(quán)利要求1所述的基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于：文本特征提取的步驟中，所述CNN提取單詞數(shù)據(jù)特征的步驟中：輸入層用于文本中詞語對應(yīng)的詞向量自上而下的排列成矩陣；卷積層使用卷積核對文本數(shù)據(jù)進行特征提取和特征映射；激勵層用于為線性的卷積運算增加非線性映射；池化層包括最大池化、平均池化，用于對特征圖進行下采樣和稀疏處理以減少數(shù)據(jù)運算量；全連接層用于將池化后的特征圖重新擬合；輸出層用于輸出結(jié)果。

4.根據(jù)權(quán)利要求1所述的基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于：原始特征重用中Concat操作中：要求待合并向量的維度必須相同，此時，在CNN的卷積層加入Padding，使每層CNN的輸入與輸出向量的維度保持一致。

5.根據(jù)權(quán)利要求4所述的基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于：所述Padding的參數(shù)模式包括SAME、VALID，當Padding為SAME時，輸入和輸出向量的size關(guān)系如公式如下：

當Padding為VALID時，輸入和輸出向量的size關(guān)系如公式如下：

其中，λ_input為輸入向量的size，λ_output為輸出向量的size，F(xiàn)為卷積核的size，S為步長，通過將Padding的模式設(shè)置為SAME，即保持輸入向量和輸出向量的維度相同。

6.根據(jù)權(quán)利要求1所述的基于長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征在于：獲取分類結(jié)果具體為：經(jīng)過卷積和池化操作后輸出的特征矩陣與LSTM輸出的特征矩陣呈現(xiàn)不同的維度，使用融合層對不同網(wǎng)絡(luò)結(jié)構(gòu)輸出的詞向量矩陣進行運算，將兩類獨立進行特征學習的分支融合在一起，傳遞至全連接層，全連接層將其輸入特征重新擬合；再使用Dropout防止過擬合；最后，使用Softmax函數(shù)輸出類別的概率分布。