[發明專利]一種融合自注意力與層級殘差記憶網絡的實體識別方法

在審

• 申請號: 202211066882.2
• 申請日: 2022-09-01
• 公開（公告）號: CN115392252A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 陳平華;林浩
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙軒榮專利代理有限公司 43235
• 代理人: 張慧敏

本發明公開了一種融合自注意力與層級殘差記憶網絡的實體識別方法，采用改進的層級殘差Bi?LSTM模型作為主干網絡以增強非線性擬合能力并通過殘差模塊解決網絡深度增加帶來的網絡退化問題,結合自注意力在多個不同子空間捕獲上下文信息來更好地表示句子結構，步驟包括：1)：從領域語料庫中挑選并清洗數據集。2)：將文本轉為可識別的數值形式；并經過層級殘差Bi?LSTM網絡并結合自注意力計算得到每個詞的特征向量。3)：經自注意力層，得到對文本不同片段的關注度，再輸入進CRF層利用維特比算法得到最佳標注序列。4)：利用log?loss損失函數指導模型訓練，待損失函數收斂后得到精準的實體，有效提高實體識別的準確性。

技術領域

本發明涉及實體識別技術領域，主要涉及一種基于融合深度自注意力網絡與層級殘差雙向長短期記憶網絡的實體識別方法。

背景技術

命名實體識別(Named Entity Recognition，NER)是一項基礎而又重要的自然語言處理(Natural Language Processing，NLP)中的詞法分析任務，也往往作為信息抽取、問答系統、機器翻譯等方向的基礎任務，尤其是在構建領域知識圖譜時，實體抽取、鏈接、對齊等都離不開實體識別。針對目標領域的實體識別任務，需要基于該目標領域的訓練語料進行訓練從而得到高效的實體識別模型。當目標領域的語料數據是極長的序列時，訓練出的實體識別模型難以捕獲長距離實體依賴，此外語料少的問題也會導致實體識別模型的精確度難以達到預期，給實體識別模型的訓練帶來極大的困難，若這些存在的問題得不到緩解或解決將會對構建領域知識圖譜等工程任務徒增成本，造成極大的資源浪費。

目前，基于深度學習方法在解決NER任務中有著很好的表現，相較于基于規則的方法和機器學習方法，基于深度學習的方法從原始數據中自主學習，減少了對數據的人為干擾，能找到更深層次和更加抽象的特征，泛化性更強。因此深度學習框架應用于命名實體識別任務的研究越來越受到關注，目前深度學習方法中表現較好的是基于預訓練模型的方法，但基于預訓練模型的改進須付出較大的算力才能獲得較小的準確率提升，因此如何在規模較小、混雜很多噪聲的語料上，盡可能地獲取更多有效特征來提升準確率，并在計算成本較小的情況下提升實體識別模型的擬合能力是本方法的重點之一。

發明內容

為了解決現有方法不能很好地在語料少的情況下克服噪聲，不能有效捕獲長序列語料下實體的問題，創造性地提出一種基于融合深度自注意力網絡與層級殘差雙向長短期記憶網絡的實體識別方法。本發明的創新點在于通過改進Bi-LSTM，在雙向長短期記憶網絡的每個單元之間接上全連接層，并通過動態自適應激活函數將字/詞特征更為有效的提取，關注近期序列之間的關聯，使得靠近的實體的特征更容易被識別，并在上層接入自注意力模塊以捕獲長距離的實體依賴關系，顯著提高了實體識別的效果。

本發明的一種基于融合深度自注意力網絡與層級殘差雙向長短期記憶網絡的實體識別方法，包含以下步驟：

S1：獲取目標領域的非結構化文本語料數據集，通過數據集預處理步驟去除重復值，利用jieba分詞工具對文本進行分詞，而后設置停用詞集合；

S2：經S1后進行人工標注實體，從而得到語料庫中的大量實體所有構建樣本集，每一個樣本都是一個字/詞，擁有標簽值；

S3：將樣本集和劃分為訓練集和測試集，從工程化的角度考慮，若訓練集中的實體個數大于閾值T，則抽取訓練集的10％作為驗證集。下載公開預訓練模型提取出的詞向量，篩選出屬于樣本集分詞后的所有詞語的詞向量；

S4：搭建融合自注意力機制和層級殘差雙向長短期記憶網絡的模型，利用訓練集樣本中的詞向量作為特征輸入(可理解為輸入前有一個嵌入層)，以一個布爾值作為標簽，其表示是否是實體，對整個網絡模型進行訓練；

S5：將驗證集(如有)數據輸入訓練好的模型，同樣以其詞向量作為特征輸入，查看結果，以此調節超參數，得到更符合現實世界情況的參數設置，從而改善模型性能；