[發明專利]融合標題和正文雙向互注意力的涉法新聞相關性分析方法

有效

• 申請號: 202011055105.9
• 申請日: 2020-09-30
• 公開（公告）號: CN112287105B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 余正濤;王冠文;郭軍軍;黃于欣;相艷;張玉
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/205;G06F40/258;G06F40/284;G06F40/289;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 昆明隆合知識產權代理事務所(普通合伙) 53220
• 代理人: 何嬌

本發明涉及融合標題和正文雙向互注意力的涉法新聞相關性分析方法，屬于自然語言處理技術領域。本發明包括步驟：獲取標題和正文的詞級特征向量；構建標題和正文相似矩陣去分別計算正文輔助標題的雙向互注意力、正文輔助標題的雙向互注意力；分別對正文輔助標題以及標題輔助正文這兩種情況下得到的雙向互注意力向量進一步提取深層次關系，然后把提取到的深層次關系在高維度聯合，以得到整篇新聞的完整信息；根據新聞特性判斷其是否屬于涉法新聞。本發明相比基線模型準確率提高了2.7％，實驗結果表明利用標題和正文以及它們之間的相互作用對新聞文本分類有很好的支撐作用。

技術領域

本發明涉及融合標題和正文雙向互注意力的涉法新聞相關性分析方法，屬于自然語言處理技術領域。

背景技術

涉法新聞相關性分析通常是通過文本分類的方法來解決，早期階段，研究人員基于傳統的機器學習來解決文本分類問題，如TF-IDF，樸素貝葉斯等利用特征工程進行文本分類。隨著深度學習模型的迅速發展，各種針對文本分類問題的深度學習模型都取得了很好的效果，但是針對兩種文本聯合進行分類的研究較少。就涉法新聞相關性分析來說，由于涉法新聞文本描述的內容覆蓋范圍廣，新聞具有標題和正文，有些新聞的標題和正文涉法特征都不明顯，因此，單從標題或正文很難很好的判斷新聞是否涉法。

本發明主要考慮到利用標題和正文的相互作用并聯合建模進行分類。因此，本發明在Minjoon等人、Yang等人和Wan等人提出的BiDAF模型的基礎上，在深度學習框架下，充分利用新聞標題和正文之間的相互作用，融合標題和正文構建雙向互注意力，探索涉法新聞文本分類方法。

發明內容

本發明提供了融合標題和正文雙向互注意力的涉法新聞相關性分析方法，來充分利用新聞標題和正文之間的相互作用，用以提高涉法新聞相關性分析的準確率。同時相比其他基線方法在涉法新聞相關性分析任務中取得更優的結果。

本發明的技術方案是：融合標題和正文雙向互注意力的涉法新聞相關性分析方法，所述方法包括：

Step1、獲取標題和正文的詞級特征向量；

Step2、構建標題和正文相似矩陣去分別計算正文輔助標題、以及標題輔助正文的雙向互注意力；

Step3、分別對正文輔助標題以及標題輔助正文這兩種情況下得到的雙向互注意力向量進一步提取上下文依賴關系，然后把提取到的上下文依賴關系在標題與正文進行交叉融合，以得到整篇新聞的從網絡層輸出的新聞完整特征；

Step4、根據新聞特性判斷其是否屬于涉法新聞。

作為本發明的進一步方案，所述步驟Step1的具體步驟為：

Step1.1、使用中文微博詞向量來獲得標題中每個詞的嵌入表征，引入注意力機制，得到加權后的標題詞級特征向量；

Step1.2、對正文文檔進行分句，再對每個句子進行分詞，之后對每個句子的詞進行編碼得到向量，再通過注意力機制來分別提取文檔中每個句子的詞級特征向量。

作為本發明的進一步方案，所述步驟Step2的具體步驟：

Step2.1、構建標題與正文相似矩陣；

Step2.2、計算正文輔助標題的雙向互注意力，從而獲取正文輔助標題的雙向互注意力向量；

Step2.3、計算正文輔助標題的雙向互注意力，從而獲取標題輔助正文的雙向互注意力向量。

作為本發明的進一步方案，所述步驟Step3的具體步驟為：

Step3.1、使用兩個BiGRU來分別提取正文輔助標題的雙向互注意力向量、標題輔助正文的雙向互注意力向量的上下文依賴關系；