[發明專利]基于聯合訓練模型的信息抽取方法和系統

有效

• 申請號: 201911253350.8
• 申請日: 2019-12-09
• 公開（公告）號: CN110968660B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 饒璐;孫銳
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 郝迎賓

1.基于聯合訓練模型的信息抽取方法，其特征在于，包括如下步驟：

步驟1、對語料進行標注，得到包含標注信息的訓練語料；

步驟2、對訓練語料進行采樣；

步驟3、將采樣后的語料中的每個字轉化成詞向量；

步驟4、將所述詞向量輸入兩個基于不同神經網絡的深度學習模型進行聯合訓練，迭代更新聯合模型的神經網絡參數，得到訓練好的信息抽取聯合模型；

步驟5、將待抽取的文本輸入所述信息抽取聯合模型，提取出包含頭實體、尾實體和實體關系的三元組信息；

步驟4中，將所述詞向量輸入的兩個基于不同神經網絡的深度學習模型，包括：一個用于識別頭實體的神經網絡模型和一個用于識別尾實體和關系的神經網絡模型，用于識別頭實體的模型采用雙向GRU神經網絡和卷積神經網絡，模型輸入為待抽取文本，輸出為頭實體位置信息，用于識別尾實體和關系的模型采用卷積神經網絡，模型輸入為待抽取文本和頭實體位置信息，輸出為含有關系標簽的尾實體位置信息。

2.根據權利要求1所述的基于聯合訓練模型的信息抽取方法，其特征在于，步驟2中，對訓練語料的采樣的方法，包括：對每條文本中的實體和關系進行隨機采樣或者全采樣。

3.根據權利要求1所述的基于聯合訓練模型的信息抽取方法，其特征在于，步驟3中，將語料中的文本轉換成詞向量的方法，包括：隨機生成的詞向量表示方法，或基于深度學習的語言模型訓練得到的向量表示方法，或其它預訓練語言模型訓練得到的詞向量表示方法。

4.根據權利要求1所述的基于聯合訓練模型的信息抽取方法，其特征在于，步驟4中，迭代更新聯合模型的神經網絡參數的方法，包括：使用焦點損失函數來計算預測值與真實值之間的差距，采用梯度下降算法來對神經網絡參數進行優化。

5.根據權利要求1所述的基于聯合訓練模型的信息抽取方法，其特征在于，步驟5中，將待抽取的文本輸入所述信息抽取聯合模型后，提取出包含實體和實體關系的三元組信息的方法，包括：根據頭實體模型預測出來的位置信息判斷出頭實體，再根據頭實體的位置信息預測出尾實體和實體關系。

6.基于聯合訓練模型的信息抽取系統，其特征在于，包括：

語料標注單元，用于對語料進行標注，得到包含標注信息的訓練語料；

語料采樣單元，對訓練語料進行采樣；

文本詞向量轉換單元，用于將所述語料中的每個字轉化成詞向量；

深度學習模型聯合訓練單元，用于將所述詞向量輸入兩個基于不同神經網絡的深度學習模型進行聯合訓練，迭代更新聯合模型的神經網絡參數，得到訓練好的信息抽取聯合模型；將所述詞向量輸入的兩個基于不同神經網絡的深度學習模型，包括：一個用于識別頭實體的神經網絡模型和一個用于識別尾實體和關系的神經網絡模型，用于識別頭實體的模型采用雙向GRU神經網絡和卷積神經網絡，模型輸入為待抽取文本，輸出為頭實體位置信息，用于識別尾實體和關系的模型采用卷積神經網絡，模型輸入為待抽取文本和頭實體位置信息，輸出為含有關系標簽的尾實體位置信息；

信息抽取三元組生成單元，將待抽取的文本輸入所述信息抽取聯合模型，提取出包含頭實體、尾實體和實體關系的三元組信息。