[發明專利]三元組信息提取方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011415288.0
• 申請日: 2020-12-03
• 公開（公告）號: CN112507125A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 侯麗;劉翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/951;G06N5/02
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 魏潤潔

本發明公開了一種三元組信息提取方法、裝置、設備及計算機可讀存儲介質，包括：通過爬蟲工具在互聯網數據中爬取海量的詞條信息，其中，詞條信息包含多個不同領域的數據；基于詞條信息，確定詞條信息中包含三元組信息的句子，并初步提取句子中的三元組信息，得到初始三元組信息；基于初始三元組信息，對任意的普通文本進行數據標注，得到標注后的普通文本，并將標注后的普通文本作為訓練文本；基于訓練文本對bert預訓練語言模型進行訓練，在訓練bert預訓練語言模型完成時得到三元組抽取模型，并基于三元組抽取模型確定任意文本對應的三元組信息。本發明可以識別出任意文本中可能的三元組信息，從而最終可以抽取出最終的高質量的三元組信息。

技術領域

本發明涉及計算機技術領域，尤其涉及一種三元組信息提取方法、裝置、設備及計算機可讀存儲介質。

背景技術

目前，互聯網上只有極少數知識被人類手工整理成了機器可以解析的格式，如各種百科欄目和垂直領域數據庫，然而這些信息僅僅是滄海之一粟，無論是覆蓋范圍、更新頻率、可靠程度都無法滿足日益增長的自動化和智能化需求。

知識圖譜構建技術發展至今，已有部分成熟的算法可用于少量特征明顯的特定類型實體和關系的抽取，也有一些開源的NLP工具可用于特定類型實體的抽取。例如斯坦福大學開源的NLP工具stanford-corenlp支持對人名、地名、機構名、數字、貨幣、日期、時間等23類實體的抽取，哈工大開源的NLP工具LTP支持人名、機構名、地名三類實體的識別。而在三元組的關系抽取中，現有技術的實現方式均是把關系約束在已知的若干種類中，然后使用分類模型對包含實體的句子進行關系分類，進而抽取出三元組中的關系。

但是，隨著互聯網技術的發展，海量的文本中包含類型各異的實體和關系類型，現有的三元組信息抽取技術僅抽取特定類型的幾種實體和關系，即提取出預先約定好的有限的幾種類型，無法提取海量文本中類型各異的三元組信息。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種三元組信息提取方法、裝置、設備及計算機可讀存儲介質，旨在解決現有的三元組信息抽取技術僅抽取特定類型的幾種實體和關系，無法提取文本中類型各異的三元組信息的技術問題。

為實現上述目的，本發明提供一種三元組信息提取方法，所述三元組信息提取方法包括以下步驟：

通過爬蟲工具在互聯網數據中爬取海量的詞條信息，其中，所述詞條信息包含多個不同領域的數據；

基于所述詞條信息，確定所述詞條信息中包含三元組信息的句子，并初步提取所述句子中的三元組信息，得到初始三元組信息；

基于所述初始三元組信息，對任意的普通文本進行數據標注，得到標注后的普通文本，并將所述標注后的普通文本作為訓練文本；

基于所述訓練文本對bert預訓練語言模型進行訓練，在訓練所述bert預訓練語言模型完成時得到三元組抽取模型，并基于所述三元組抽取模型確定任意文本對應的三元組信息。

可選地，所述基于所述詞條信息，確定所述詞條信息中包含三元組信息的句子，并初步提取所述句子中的三元組信息，得到初始三元組信息的步驟包括：

通過文本識別模型提取所述詞條信息中的有用文本，得到文本信息，所述詞條信息中的有用文本包括半結構化的第一文本信息和非結構化的第二文本信息；

對所述文本信息進行解析，得到所述文本信息中包含三元組信息的句子；

提取所述句子中的三元組信息，得到初始三元組信息。

可選地，所述基于所述三元組抽取模型確定任意文本對應的三元組信息的步驟之后，還包括：

將所述任意文本對應的三元組信息輸入至預設的知識體系框架，以構建包含多領域數據的知識體系圖譜；