[發明專利]一種神經網絡的關系抽取方法

在審

• 申請號: 202111079384.7
• 申請日: 2021-09-15
• 公開（公告）號: CN113901230A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 寇菲;馮落落;王建華;高明;尹青山
• 申請（專利權）人: 山東新一代信息產業技術研究院有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

本發明涉及自然語言處理領域，具體提供了一種神經網絡的關系抽取方法，基于詞依存信息類型映射記憶神經網絡的關系抽取模型，利用上下文關聯的詞以及詞與詞之間的依存關系類型對上下文信息進一步建模，對上下文特征進行區分建模。與現有技術相比，本發明在上下文信息的建模過程中，融合依存信息，對不同的上下文特征進行區分建模，不會存在噪聲的影響，對提升模型的上下文表征能力會有幫助，進而提升模型在關系抽取任務的性能。

技術領域

本發明涉及自然語言處理領域，具體提供一種神經網絡的關系抽取方法。

背景技術

關系抽取是信息抽取和信息檢索領域里很重要的一項研究任務,其任務目標是抽取文本中的兩個實體之間的關系。最近的研究表明，一種好的上下文信息建模機制，通過融合外部知識，譬如依存信息，能夠很好地提升該任務的性能。

考慮到除了詞與詞之間的依存關系，依存關系的類型同樣會對關系抽取任務有幫助，此外，通過工具提取的依存信息存在噪聲，不同的依存信息對建模分析的貢獻也不同，在上下文信息的建模過程中，融合依存信息，對不同的上下文特征進行區分建模時，通過工具提取依存信息時存在噪聲會有影響。

發明內容

本發明是針對上述現有技術的不足，提供一種實用性強的神經網絡的關系抽取方法。

本發明解決其技術問題所采用的技術方案是：

一種神經網絡的關系抽取方法，基于詞依存信息類型映射記憶神經網絡的關系抽取模型，利用上下文關聯的詞以及詞與詞之間的依存關系類型對上下文信息進一步建模，對上下文特征進行區分建模。

進一步的，基于輸入文本的利用bert預訓練模型進行embedding，然后用BiLSTM和CRF做命名實體識別，然后，利用輸入的句子和依存句法樹構建根據兩種不同類型的依存信息構建in-entity和cross-entity記憶槽。

進一步的，具體步驟如下：

S1、輸入文本，生成依存樹；

S2、使用BERT作為編碼器，提取文本序列的表征；

S3、預測兩個實體之間的關系標簽。

進一步的，在步驟S1中，每一個輸入的文本，首先使用依存句法工具自動處理文本并生成依存樹，根據兩種不同類型的依存信息構建in-entity和cross-entity記憶槽。

作為優選，所述in-entity記憶槽是基于詞的一階依存信息構建，cross-entity記憶槽是基于詞與其他上下文關聯詞之間的依存路徑構建。

進一步的，在步驟S2中，使用BERT作為編碼器，提取文本序列的表征，并將文本序列表征和兩個記憶槽輸入基于依存關系類型映射記憶網絡模塊。

進一步的，在所述基于依存關系類型映射記憶網絡模塊里，分別利用in-entity記憶槽和cross-entity記憶槽融合鍵和值作為上下文特征，采用注意力機制，通過計算詞和鍵之間的點積，作為權重分配給其上下文特征。

進一步的，在步驟S4中，基于依存關系類型映射記憶網絡的輸出，預測兩個實體之間的關系標簽。

本發明的一種神經網絡的關系抽取方法和現有技術相比，具有以下突出的有益效果：

本發明在上下文信息的建模過程中，融合依存信息，對不同的上下文特征進行區分建模，不會存在噪聲的影響，對提升模型的上下文表征能力會有幫助，進而提升模型在關系抽取任務的性能。

附圖說明