[發明專利]一種混合長短期記憶網絡和卷積神經網絡的文本分類方法

有效

• 申請號: 201710257132.6
• 申請日: 2017-04-19
• 公開（公告）號: CN107169035B
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 蘇錦鈿;霍振朗;歐陽志凡
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于，所述方法包括以下步驟：

步驟1、對文本中的句子進行預處理，結合訓練語料集中句子的長度分布及均方差，確定句子的長度閾值后形成統一的句子長度，利用預訓練好的詞向量表獲取輸入文本中每一個詞的向量化表示，形成連續和稠密的實數向量矩陣；

步驟2、對于輸入的句子詞向量，分別通過一個正向的LSTM網絡學習各個詞的上文信息和一個逆向的LSTM網絡學習各個詞的下文信息，并將學習的結果進行串聯合并，從而將包含語義信息的句子詞向量表示轉化為同時包含語義及上下文信息的表示；

步驟3、使用多個不同寬度、包含不同權值的核矩陣分別對雙向LSTM網絡輸出的詞向量矩陣進行二維卷積運算，提取局部卷積特征，并生成多層局部卷積特征矩陣；

步驟4、使用一維最大值池化算法對多層局部卷積特征矩陣進行下采樣，得到句子的多層全局特征矩陣，并將結果進行串聯合并；

步驟5、使用兩個相反方向的LSTM網絡分別學習句子局部特征間的長期依賴關系，并將最后的學習結果進行輸出；

步驟6、將步驟5的輸出結果先通過一個全連接隱層，接著再經過一個softmax層對句子的類別進行預測。

2.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述一種混合長短期記憶網絡和卷積神經網絡的文本分類方法是在一個多層神經網絡中完成的，所述步驟1在第一層輸入層中完成，步驟2在第二層雙向LSTM層中完成，步驟3在第三層CNN層中完成，步驟4在第四層池化層中完成，步驟5在第五層雙向LSTM層中完成，步驟6在第六層輸出層中完成。

3.根據權利要求2所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述第二層雙向LSTM層用于學習原始輸入句子中各個詞的上下文信息，并且把每個詞的學習結果進行串聯后輸出，所述第五層雙向LSTM層學習卷積后句子特征間的上下文信息，并且只輸出最后一步的學習結果。

4.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：步驟1中，所述對句子進行預處理包括標點符號過濾、縮寫補齊、刪除空格、對句子進行分詞和非法字符過濾。

5.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述步驟3為局部特征學習過程，通過多個不同詞步長的二維卷積窗口和卷積核對包含上下文信息的詞向量進行學習，從而得到不同粒度的短語信息。

6.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述步驟4為采樣和降維過程，通過一維最大值池化算法對多層局部卷積特征矩陣進行下采樣，得到句子中每一個池化窗口內最重要的特征值，并作為局部窗口中的特征表示。

7.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述步驟5為局部特征的上下文學習，通過雙向LSTM學習局部特征之間的上下文信息，并輸出最后一個詞向量的學習結果，同時形成固定維度的一維輸出。

8.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述步驟6為分類輸出，通過一個全連接的多層感知器進行分類判斷，并根據指定分類體系上的概率分布情況得到最終的輸出。

9.根據權利要求1所述的一種混合長短期記憶網絡和卷積神經網絡的文本分類方法，其特征在于：所述步驟6在一個多層感知器中完成，包括一個全連接隱層和一個softmax層，步驟6的輸出結果為對應文本的預測類別。