[發明專利]數據湖的知識圖譜生成方法及裝置

在審

• 申請號: 202210120630.7
• 申請日: 2022-02-09
• 公開（公告）號: CN114462603A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李卓林
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 楊丹;沈珍珠

1.一種數據湖的知識圖譜生成方法，其特征在于，包括：

獲取數據湖中的多源異構數據，將所述多源異構數據作為主數據存儲至對應結構的數據庫中；其中，所述主數據包括：結構化主數據、半結構化主數據、以及非結構化主數據；

查詢獲取結構化主數據的數據表結構，根據所述數據表結構得到結構化主數據的元數據；

根據半結構化主數據的格式對半結構化主數據進行解析，從解析結果中提取半結構化主數據的元數據；

調用各非結構化主數據對應的算子提取非結構化主數據的元數據；

利用知識圖譜將各元數據進行融合關聯，得到數據湖對應的知識圖譜網絡。

2.如權利要求1所述的數據湖的知識圖譜生成方法，其特征在于，非結構化主數據包括：文本主數據、圖像票據主數據；

調用各非結構化主數據對應的算子提取非結構化主數據的元數據，包括：

調用單文檔無監督關鍵詞抽取YAKE算子提取文本主數據的元數據；

調用光學字符識別OCR算子提取圖像票據主數據的元數據。

3.如權利要求2所述的數據湖的知識圖譜生成方法，其特征在于，調用YAKE算子提取文本主數據的元數據，包括：

調用YAKE算子對文本主數據進行如下操作：

根據標點符號對文本主數據進行拆分得到多個拆分部分；

對每個拆分部分的詞進行特征提取；

根據每個詞在各拆分部分中的位置和出現頻率，得到每一拆分部分對應的詞的各特征的權重值；

根據每一拆分部分對應的詞的各特征的權重值、以及預設權重閾值，確定每一拆分部分對應的詞的最終特征；

根據每一拆分部分對應的詞的最終特征，采用n-gram模型對每一拆分部分進行概率計算；

采用levenshtein函數計算各拆分部分之間的相似度，根據各拆分部分之間的相似度，刪除重復的拆分部分；

根據剩余的每一拆分部分的概率計算結果、以及預設概率閾值，提取出文本主數據的元數據。

4.如權利要求2所述的數據湖的知識圖譜生成方法，其特征在于，調用OCR算子提取圖像票據主數據的元數據，包括：

調用OCR算子對圖像票據主數據執行下述操作：

對圖像票據主數據進行文本框檢測；

對檢測出的文本框進行文本矯正；

采用投影直方圖對矯正后的文本框進行分割得到單行文本圖像；

從單行文本圖像中提取出單行文本；

從提取的單行文本中提取圖像票據主數據的元數據。

5.如權利要求1所述的數據湖的知識圖譜生成方法，其特征在于，利用知識圖譜將各元數據進行融合關聯，得到數據湖對應的知識圖譜網絡，包括：

將各元數據加載到同一知識圖譜中；

根據各元數據的屬性之間的關聯關系，將各元數據、以及元數據之間的關系構造成知識圖譜的資源描述框架RDF型數據結構，得到多個獨立知識圖譜；

根據各獨立知識圖譜的網狀結構，采用GLUE算法將各獨立知識圖譜進行融合，得到數據湖對應的知識圖譜網絡。

6.如權利要求5所述的數據湖的知識圖譜生成方法，其特征在于，獨立知識圖譜中的元數據包括本體層；

根據各獨立知識圖譜的網狀結構，采用GLUE算法將各獨立知識圖譜進行融合，得到數據湖對應的知識圖譜網絡，包括：

將獨立知識圖譜的本體層的RDF數據輸入到圖神經網絡GNN，得到各獨立知識圖譜的本體層之間的聯合概率分布；

根據各獨立知識圖譜的本體層之間的聯合概率分布，計算各獨立知識圖譜之間的本體層相似度；

將本體層相似度大于預設相似度閾值的獨立知識圖譜進行融合，得到數據湖對應的知識圖譜網絡。