[發明專利]一種神經網絡的關系抽取方法

在審

• 申請號: 202111079384.7
• 申請日: 2021-09-15
• 公開（公告）號: CN113901230A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 寇菲;馮落落;王建華;高明;尹青山
• 申請（專利權）人: 山東新一代信息產業技術研究院有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

1.一種神經網絡的關系抽取方法，其特征在于，基于詞依存信息類型映射記憶神經網絡的關系抽取模型，利用上下文關聯的詞以及詞與詞之間的依存關系類型對上下文信息進一步建模，對上下文特征進行區分建模。

2.根據權利要求1所述的一種神經網絡的關系抽取方法，其特征在于，基于輸入文本的利用bert預訓練模型進行embedding，然后用BiLSTM和CRF做命名實體識別，然后，利用輸入的句子和依存句法樹構建根據兩種不同類型的依存信息構建in-entity和cross-entity記憶槽。

3.根據權利要求2所述的一種神經網絡的關系抽取方法，其特征在于，具體步驟如下：

S1、輸入文本，生成依存樹；

S2、使用BERT作為編碼器，提取文本序列的表征；

S3、預測兩個實體之間的關系標簽。

4.根據權利要求3所述的一種神經網絡的關系抽取方法，其特征在于，在步驟S1中，每一個輸入的文本，首先使用依存句法工具自動處理文本并生成依存樹，根據兩種不同類型的依存信息構建in-entity和cross-entity記憶槽。

5.根據權利要求4所述的一種神經網絡的關系抽取方法，其特征在于，所述in-entity記憶槽是基于詞的一階依存信息構建，cross-entity記憶槽是基于詞與其他上下文關聯詞之間的依存路徑構建。

6.根據權利要求5所述的一種神經網絡的關系抽取方法，其特征在于，在步驟S2中，使用BERT作為編碼器，提取文本序列的表征，并將文本序列表征和兩個記憶槽輸入基于依存關系類型映射記憶網絡模塊。

7.根據權利要求6所述的一種神經網絡的關系抽取方法，其特征在于，在所述基于依存關系類型映射記憶網絡模塊里，分別利用in-entity記憶槽和cross-entity記憶槽融合鍵和值作為上下文特征，采用注意力機制，通過計算詞和鍵之間的點積，作為權重分配給其上下文特征。

8.根據權利要求7所述的一種神經網絡的關系抽取方法，其特征在于，在步驟S4中，基于依存關系類型映射記憶網絡的輸出，預測兩個實體之間的關系標簽。