[發明專利]基于雙通道神經網絡與注意力機制的政策文本智能分類方法、系統及存儲介質

在審

• 申請號: 202211032341.8
• 申請日: 2022-08-26
• 公開（公告）號: CN115292500A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉敏;伍穎欣;柯毅明;孟慶旭
• 申請（專利權）人: 暨南大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06N3/04
• 代理公司: 廣東穗科知識產權代理事務所(普通合伙) 44834
• 代理人: 黃啟文

1.基于雙通道神經網絡與注意力機制的政策文本智能分類方法，其特征在于：包括以下步驟：

S1.對采集得到的政策文本進行文本預處理；

S2.將預處理后得到的文本信息通過Word2vec詞向量中的Skip-gram模型嵌入為詞向量；

S3.將詞向量分別輸入至具有注意力機制的CNN神經網絡和BILSTM神經網絡獲取重要局部特征和全局特征；

S4.將得到的重要局部特征和全局特征合并得到政策文本信息特征，將得到的政策文本信息特征輸入到全連接層神經網絡，采用softmax函數計算政策文本的歸類概率，得到分類結果。

2.根據權利要求1所述的基于雙通道神經網絡與注意力機制的政策文本智能分類方法，其特征在于：所述步驟S1對采集得到的政策文本進行文本預處理包括依次執行的數據清洗操作、分句操作、分詞操作。

3.根據權利要求1所述的基于雙通道神經網絡與注意力機制的政策文本智能分類方法，其特征在于：所述步驟S2中，Skip-gram模型包括有輸入層、隱含層以及輸出層，預處理后得到的文本信息中，令t時刻的當前詞為w(t)；在輸入層將當前詞w(t)的one-hot向量輸入，通過隱藏層對當前詞w(t)的one-hot向量加權，最終在輸出層得到當前詞w(t)的上下文詞匯；將詞語映射為具有d維的詞向量，記為w(t-2)、w(t-1)、w(t+1)、w(t+2)，Skip-gram模型的目標函數的數學表達式為：

其中Context(·)為求取當前詞w(t)的上下文詞匯，L_Skip-gram為Skip-gram模型根據當前詞w(t)預測上下文詞匯的輸出概率；

將具有d維詞向量的文本信息輸入詞嵌入層，得到詞向量A＝{x₁,x₂,...,x_n}；n為政策文本的長度。

4.根據權利要求3所述的基于雙通道神經網絡與注意力機制的政策文本智能分類方法，其特征在于：所述步驟S3中，將詞向量輸入至BILSTM神經網絡獲取全局特征，具體包括：

BILSTM神經網絡包括正向的LSTM和逆向的LSTM；

將詞向量A＝{x₁,x₂,...,x_n}作為正向的LSTM和逆向的LSTM的輸入，經過正向的LSTM和逆向的LSTM的處理；

對于詞向量x_i，分別進行由左至右和由右至左的前后兩個方向的序列特征讀取，得到隱藏層中的正向信息特征h1_i和逆向信息特征h2_i，對正向信息特征h1_i和逆向信息特征h2_i進行整合拼接得到[h1_i,h2_i]，表示為h_i；

詞向量A＝{x₁,x₂,...,x_n}得到的全局特征為H＝[h₁,h₂,...,h_n]。

5.根據權利要求4所述的基于雙通道神經網絡與注意力機制的政策文本智能分類方法，其特征在于：所述步驟S3中，將詞向量輸入至具有注意力機制的CNN神經網絡獲取重要局部特征，包括：

令當前的狀態特征為Query_i，當前狀態中序列的其他特征為Key_i；

根據能量函數E計算出當前狀態特征與其他特征的相關重要程度；

采用softmax函數計算當前狀態特征與序列其他特征的相關程度系數g_i；

將當前狀態特征的能量函數E_i與當前特征的相關程度系數g_i相乘，得到特征的全局重要程度C_i；

選取全局重要程度最大的特征Query，采用卷積神經網絡將全局重要程度最大的特征Query進行提取，記為Q_i，Q_i經過卷積操作處理后得到D_i，將D_i作為重要局部特征。