[發明專利]雙向GRU關系抽取數據處理方法、系統、終端、介質

有效

• 申請號: 202110261757.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112800776B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳建峽;陳煜;張杰;劉暢;劉琦
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F21/60;G06F40/242;G06F40/289;G06F18/22;G06F18/2415;G06N3/047;G06N3/049;G06N3/045;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 藍曉玉

本發明屬于關系抽取技術領域，公開了一種雙向GRU關系抽取數據處理方法、系統、終端、介質，對基準數據集SemEval?2010Task?8進行預處理；通過EMLo預訓練模型對語料進行詞向量化；通過多頭注意力機制對詞向量進行初步去噪處理；使用Bi?GRU網絡對詞向量進行編碼，得到包含句子中上下文信息的隱藏層向量；將隱藏層向量作為輸入，傳遞至關鍵詞注意力層中，通過將隱藏層輸出結合實體對相對位置特征以及實體隱藏相似度特征，計算出注意力權重；將經過注意力機制處理過的隱藏層向量輸入至分類層，得到最終的關系抽取結果。實驗結果表明，本發明提出的模型在沒有任何其他NLP工具的情況下達到最先進的性能。

技術領域

本發明屬于關系抽取技術領域，尤其涉及一種雙向GRU關系抽取數據處理方法、系統、終端、介質。

背景技術

目前，關系抽取在自然語言處理領域占有重要的地位，它是問答系統、信息抽取、知識圖譜等自然語言處理的核心任務和不可缺少的環節，同時關系抽取也是近年來的一個研究熱點。關系抽取的任務是預測文本中兩個標記實體之間的關系類型和方向。

基于深度學習的關系抽取方法主要是基于CNN，RNN網絡來獲取句子中的上下文信息，Zeng等人提出了一種使用深度卷積神經網絡的模型來提取句子中的特征，Zhang等人提出了使用RNN來學習實體與實體間的長距離依賴性。CNN的目的是捕捉目標的局部和連續的上下文內容，而RNN則通過存儲單元積累輸入句子中的上下文信息。最近的研究中通常使用注意力機制來提升模型的性能，例如用于關系分類的基于注意力的雙向長期短期記憶網絡、通過基于注意力機制的分層遞歸神經網絡進行語義關系分類等。

目前，基于注意力的神經網絡模型致力于分辨句子的關鍵語義部分，并在許多NLP任務中取得了最新成果。SDP-LSTM使用長期短期記憶(LSTM)沿最短依賴路徑(SDP)捕獲特征，該模型是用于通過排名進行分類的卷積神經網絡，并使用具有成對排名的損失函數進行訓練。Xu等人提出的深度循環神經網絡(DRNNs)模型將不相關的詞從最短依賴路徑中剔除，以此達到提升模型性能的目的，并且在模型中還使用了其它例如單詞詞性標簽(pos)、上位詞、同義詞替換等額外特征。但與此同時，在關系分類的任務中，這種具有注意力機制的模型并沒有充分利用數據集中的有關系表達的信息，而這些信息對實體分類任務具有提示作用，另外，最短依賴路徑(SDP)、詞性標簽(pos)、上位詞、同義詞等特征都是依靠相關的NLP工具生成的語言特征，它們大多是有效的，有助于模型找到關鍵特征，但同時會導致模型受到工具產生的錯誤影響，并大大增加模型的計算工作量。

通過上述分析，現有技術存在的問題及缺陷為：在關系分類的任務中，現有具有注意力機制的模型并沒有充分利用數據集中的有關系表達的信息；同時，現有模型使用其他處理工具會導致模型受到工具產生的錯誤影響，并大大增加模型的計算工作量，提高了模型的計算時間；并且傳統的詞向量模型并不能準確的表現出句中出現的大量的一詞多義；在提取文本信息的網絡層中，現有的模型使用的LSTM網絡參數量過多，在一定程度上加大了模型過擬合的風險，并且增加了模型的計算量，致使計算時間變長。

解決以上問題及缺陷的難度為：需要對模型的注意力機制進行優化及調整從而在不使用任何工具的情況下達到充分利用文本中有關系表達單詞以及實體詞的效果，以提高模型的性能，并且避免使用工具從而對模型帶來錯誤累積；需要使用具有一詞多義能力的詞向量模型；在文本提取的網絡層中，需要使用參數量更少的、更快速的、同性能的網絡，以提高模型的運行效率。

解決以上問題及缺陷的意義為：關系抽取任務是知識圖譜構建的不可或缺的重要步驟，關系抽取模型的研究以及優化具有十分重要的應用前景以及理論意義，可以為自然語言處理領域的多種應用提供更先進的支持。

發明內容

針對現有技術存在的問題，本發明提供了一種雙向GRU關系抽取數據處理方法、系統、終端、介質，具體涉及一種基于關鍵詞注意力的雙向GRU關系抽取數據處理方法。

本發明是這樣實現的，一種基于關鍵詞注意力的雙向GRU關系抽取數據處理方法，包括以下步驟：