[發明專利]基于雙通道神經網絡與注意力機制的政策文本智能分類方法、系統及存儲介質

在審

• 申請號: 202211032341.8
• 申請日: 2022-08-26
• 公開（公告）號: CN115292500A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉敏;伍穎欣;柯毅明;孟慶旭
• 申請（專利權）人: 暨南大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06N3/04
• 代理公司: 廣東穗科知識產權代理事務所(普通合伙) 44834
• 代理人: 黃啟文

本發明涉及一種基于雙通道神經網絡與注意力機制的政策文本智能分類方法，包括以下步驟：S1.對采集得到的政策文本進行文本預處理；S2.將預處理后得到的文本信息通過Word2vec詞向量中的Skip?gram模型嵌入為詞向量；S3.將詞向量分別輸入至具有注意力機制的CNN神經網絡和BILSTM神經網絡獲取重要局部特征和全局特征；S4.將得到的重要局部特征和全局特征合并得到政策文本信息特征，將得到的政策文本信息特征輸入到全連接層神經網絡，采用softmax函數計算政策文本的歸類概率，得到分類結果。

技術領域

本發明涉及文本分類技術領域，更具體地，涉及一種基于雙通道神經網絡與注意力機制的政策文本智能分類方法、系統及存儲介質。

背景技術

隨著經濟和社會的快速發展，管控企業外部環境信息在企業的決策需求中必不可缺。政策屬于企業外部環境信息的重要組成因素，是國家對企業的指導方針，同時也是一個國家或者地區對社會、經濟環境的重要反映。因此，管控政策的研究自然成為了企業管理研究的熱點方向。但是由于政策文本信息結構復雜，信息含量高，企業管理人員需要花費大量時間和精力監控政策信息，從而導致政策監控不全面、識別政策關鍵信息效果不佳。在企業數字化轉型和科技的發展的趨勢推動下，大數據技術在企業管理中日益凸顯其重要性。近年來，政策文本的智能化分類分析方法和模型也逐漸出現，應用較為廣泛的是卷積神經網絡(CNN)，卷積神經網絡通過對政策文本信息進行局部特征的提取從而實現政策文本分類的效果。也有一部分采用循環神經網絡(RNN)，通過神經網絡中的循環機制，獲取政策文本信息的上下文關系特征，達到政策文本分類的效果。但是現有的政策文本智能化分類分析方法過多的依賴單一分類模型，忽略了政策文本內容的不平衡、語義信息豐富等特點，出現了政策文本智能化分類分析的準確性問題，給實際的應用帶來了困難。

因此，如何在針對政策文本內容的特點，實現政策文本的智能化分類，輔助企業管理人員決策管理，是本領域技術人員需要研究的方向。

發明內容

針對以往企業管理人員政策監控時間不固定以及時間較長等原因導致出現政策監控的不全面以及識別政策的關鍵信息能力不足的問題，本發明提出了一種基于雙通道神經網絡與注意力機制的政策文本智能分類方法，該方法有效地解決企業管理人員繁瑣重復的政策監控分析效率問題。

為實現以上發明目的，采用的技術方案是：

基于雙通道神經網絡與注意力機制的政策文本智能分類方法，包括以下步驟：

S1.對采集得到的政策文本進行文本預處理；

S2.將預處理后得到的文本信息通過Word2vec詞向量中的Skip-gram模型嵌入為詞向量；

S3.將詞向量分別輸入至具有注意力機制的CNN神經網絡和BILSTM神經網絡獲取重要局部特征和全局特征；

S4.將得到的重要局部特征和全局特征合并得到政策文本信息特征，將得到的政策文本信息特征輸入到全連接層神經網絡，采用softmax函數計算政策文本的歸類概率，得到分類結果。

優選地，所述步驟S1對采集得到的政策文本進行文本預處理包括依次執行的數據清洗操作、分句操作、分詞操作。

優選地，所述步驟S2中，Skip-gram模型包括有輸入層、隱含層以及輸出層，預處理后得到的文本信息中，令t時刻的當前詞為w(t)；在輸入層將當前詞w(t)的one-hot向量輸入，通過隱藏層對當前詞w(t)的one-hot向量加權，最終在輸出層得到當前詞w(t)的上下文詞匯；將詞語映射為具有d維的詞向量，記為w(t-2)、w(t-1)、w(t+1)、w(t+2)，Skip-gram模型的目標函數的數學表達式為：

其中Context(·)為求取當前詞w(t)的上下文詞匯，L_Skip-gram為Skip-gram模型根據當前詞w(t)預測上下文詞匯的輸出概率；