[發明專利]一種多源異構政策知識圖譜構建和存儲方法及系統

在審

• 申請號: 202310418582.4
• 申請日: 2023-04-19
• 公開（公告）號: CN116361487A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 羅輯;周松;周旺;雷雪峰
• 申請（專利權）人: 中電云數智科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/31;G06N5/02;G06N5/01;G06F18/25
• 代理公司: 北京尚鉞知識產權代理事務所(普通合伙) 11723
• 代理人: 嚴田青

本發明涉及一種多源異構政策知識圖譜構建和存儲方法。本方法包括利用數據源數據集管理系統、NLP模型、OCR模型對多源異構政策數據實施分類管理，基于先驗規則引導融合模型進行知識融合，構建政策知識圖譜基礎模型，利用任務調度引擎進行知識抽取和導入，并將結果存入圖數據存儲系統中。本方法解決了政策知識圖譜多源異構數據場景的數據接入、知識抽取問題，尤其適用于政策領域文本和圖片等非結構化數據的接入和知識抽取；本方法還提供了政策知識圖譜的基礎模型；本方法基于先驗規則引導融合模型進行知識融合，提高了融合效率；本方法采用基于圖結構的存儲系統，能夠存儲海量政策數據，同時支持政策文件中大屬性字段的存儲和全文檢索。

技術領域

本發明屬于知識圖譜構建技術領域，尤其涉及一種多源異構政策知識圖譜構建和存儲方法及系統。

背景技術

知識圖譜是結構化的語義知識庫，通過符號形式描述物理世界中的概念及其相互關系。以“實體-關系-實體”三元組作為基本組成單位，實體之間通過關系構成網狀知識結構。政策知識圖譜是指將政策領域的相關知識和信息整合后形成的結構化圖譜，以方便政策制定者和執行者查找和利用這些知識信息。近年來，隨著大數據、人工智能等技術的不斷發展，政策知識圖譜的研究也日益受到關注。

目前，知識圖譜在政府政策領域的應用還處于初級階段，同時，由于政策知識圖譜數據來源的多樣性、數據結構的復雜性、實體建模缺乏統一規范標準以及數據存儲的多樣性等問題，導致政策知識圖譜在多數據源的接入、基于異構數據的知識抽取、知識建模和知識儲存等方面缺乏系統性的解決方案。雖然在基于多源異構的知識抽取方面，在醫療等領域存在一些解決方案，但是這些方案在政策圖譜的實體關系抽取中精度不夠，并且針對知識抽取后實體消歧缺乏有效的解決方案。在知識建模方面，針對政策文件尚未形成有效的政策模型構建方案，缺乏政策文件建模標準或者可以基于此拓展的模型基類。在知識圖譜存儲方面，常用的有兩大類方案：一類是基于表結構的存儲，如三元組表等，另一類是基于圖結構的存儲，將實體關系泛化為點、邊、屬性進行存儲。目前已有基于三元組的表結構存儲的政策圖譜，但其存在隨著知識數據的增加存儲和查詢開銷巨大，大數據量情況下性能下降嚴重等問題，因此有必要進行深入的圖存儲探索，以解決海量數據的存儲困難和查詢性能低下問題。

發明內容

為了克服現有知識圖譜構建方案在政策知識領域應用中存在的上述缺陷，本發明提出了一種新的多源異構政策知識圖譜構建和存儲方法。

術語解釋

NLP：自然語言處理(Natural?Language?Processing)。

OCR：光學文字識別(optical?character?recognition)。

Janusgraph：一種分布式、開源、可大規模擴展的圖數據庫。

Quartz：一種基于JAVA程序語言開發的作業調度框架。

XXL-JOB：一種輕量級分布式任務調度平臺。

針對當前政策知識圖譜中存在的問題,本申請提供了一套針對多源異構知識抽取、知識建模和知識存儲的系統性解決方案。本方案包括：在多源異構數據源的知識抽取方面，創新性的提出了基于數據集管理并整合基于機器學習的文本和圖片識別多源異構數據的抽取方案，在兼容常見關系性數據源、結構化數據、半結構化數據的基礎上，提升了政策知識中文本、圖片等非結構化數據的接入和知識抽取能力；在知識建模方面，本申請提供了針對政策知識圖譜的基礎模型，該模型能夠適用于政策知識圖譜的常見和基礎需求，對于定制化和特殊需求也可以基于此基礎模型進行擴展；在知識存儲方面，本申請采用了基于圖結構的存儲系統，有效克服了海量政策數據在快速存儲和查詢方面的需求瓶頸，為政策知識的深度擴展、關聯政策查詢提供了數據基礎。

本發明通過以下技術方案實現，詳細步驟如下：