[發(fā)明專利]數(shù)據(jù)湖的知識圖譜生成方法及裝置

在審

• 申請?zhí)枺?/td>: 202210120630.7
• 申請日: 2022-02-09
• 公開（公告）號: CN114462603A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 李卓林
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06K9/62
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 楊丹;沈珍珠

本發(fā)明公開了一種數(shù)據(jù)湖的知識圖譜生成方法及裝置，涉及大數(shù)據(jù)技術(shù)領(lǐng)域；其中該方法包括：獲取數(shù)據(jù)湖中的多源異構(gòu)數(shù)據(jù)，將所述多源異構(gòu)數(shù)據(jù)作為主數(shù)據(jù)存儲至對應(yīng)結(jié)構(gòu)的數(shù)據(jù)庫中；主數(shù)據(jù)包括：結(jié)構(gòu)化主數(shù)據(jù)、半結(jié)構(gòu)化主數(shù)據(jù)、以及非結(jié)構(gòu)化主數(shù)據(jù)；查詢獲取結(jié)構(gòu)化主數(shù)據(jù)的數(shù)據(jù)表結(jié)構(gòu)，根據(jù)所述數(shù)據(jù)表結(jié)構(gòu)得到結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；根據(jù)半結(jié)構(gòu)化主數(shù)據(jù)的格式對半結(jié)構(gòu)化主數(shù)據(jù)進行解析，從解析結(jié)果中提取半結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；調(diào)用各非結(jié)構(gòu)化主數(shù)據(jù)對應(yīng)的算子提取非結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；利用知識圖譜將各元數(shù)據(jù)進行融合關(guān)聯(lián)，得到數(shù)據(jù)湖對應(yīng)的知識圖譜網(wǎng)絡(luò)。本發(fā)明可以將數(shù)據(jù)湖中的數(shù)據(jù)進行有效關(guān)聯(lián)，避免出現(xiàn)數(shù)據(jù)沼澤。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)湖的知識圖譜生成方法及裝置。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現(xiàn)有技術(shù)。

對于數(shù)據(jù)湖而言，由于其可以獲取全業(yè)務(wù)流程的所有相關(guān)領(lǐng)域的結(jié)構(gòu)化數(shù)據(jù)、以及文本、圖像、語音、視頻等非結(jié)構(gòu)且多元異構(gòu)的數(shù)據(jù)?；跀?shù)據(jù)湖收集和存儲的數(shù)據(jù)形式和類型繁多，因此可以突破在現(xiàn)有大型數(shù)據(jù)倉庫上進行“自上向下”需要業(yè)務(wù)專家來指定規(guī)則模型和邏輯的設(shè)計模式，助力數(shù)據(jù)科學(xué)家以及業(yè)務(wù)專家實現(xiàn)“自底向上”的數(shù)據(jù)分析，從而進行更廣且更深的角度和范圍來進行業(yè)務(wù)的開發(fā)和開展。在數(shù)據(jù)湖中可以將不同業(yè)務(wù)范圍的數(shù)據(jù)關(guān)聯(lián)起來進行一項數(shù)據(jù)分析任務(wù)，但是如果進入到數(shù)據(jù)湖的數(shù)據(jù)缺乏一定的數(shù)據(jù)治理，會導(dǎo)致數(shù)據(jù)之間無法進行有效的關(guān)聯(lián)，甚至存在缺陷，進而會導(dǎo)致出現(xiàn)使用障礙，產(chǎn)生數(shù)據(jù)使用減少的情況，這進一步就又會引發(fā)存在的數(shù)據(jù)缺陷無法很好的暴露和反映，也即出現(xiàn)“數(shù)據(jù)沼澤”的困境。有效應(yīng)對“數(shù)據(jù)沼澤”出現(xiàn)，需要對數(shù)據(jù)湖進行有效的數(shù)據(jù)治理。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種數(shù)據(jù)湖的知識圖譜生成方法，用以實現(xiàn)對數(shù)據(jù)湖中數(shù)據(jù)的有效治理，避免出現(xiàn)數(shù)據(jù)沼澤，該方法包括：

獲取數(shù)據(jù)湖中的多源異構(gòu)數(shù)據(jù)，將所述多源異構(gòu)數(shù)據(jù)作為主數(shù)據(jù)存儲至對應(yīng)結(jié)構(gòu)的數(shù)據(jù)庫中；其中，所述主數(shù)據(jù)包括：結(jié)構(gòu)化主數(shù)據(jù)、半結(jié)構(gòu)化主數(shù)據(jù)、以及非結(jié)構(gòu)化主數(shù)據(jù)；

查詢獲取結(jié)構(gòu)化主數(shù)據(jù)的數(shù)據(jù)表結(jié)構(gòu)，根據(jù)所述數(shù)據(jù)表結(jié)構(gòu)得到結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

根據(jù)半結(jié)構(gòu)化主數(shù)據(jù)的格式對半結(jié)構(gòu)化主數(shù)據(jù)進行解析，從解析結(jié)果中提取半結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

調(diào)用各非結(jié)構(gòu)化主數(shù)據(jù)對應(yīng)的算子提取非結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

利用知識圖譜將各元數(shù)據(jù)進行融合關(guān)聯(lián)，得到數(shù)據(jù)湖對應(yīng)的知識圖譜網(wǎng)絡(luò)。

本發(fā)明實施例還提供一種數(shù)據(jù)湖的知識圖譜生成裝置，用以實現(xiàn)對數(shù)據(jù)湖中數(shù)據(jù)的有效治理，避免出現(xiàn)數(shù)據(jù)沼澤，該裝置包括：

獲取模塊，用于獲取數(shù)據(jù)湖中的多源異構(gòu)數(shù)據(jù)，將所述多源異構(gòu)數(shù)據(jù)作為主數(shù)據(jù)存儲至對應(yīng)結(jié)構(gòu)的數(shù)據(jù)庫中；其中，所述主數(shù)據(jù)包括：結(jié)構(gòu)化主數(shù)據(jù)、半結(jié)構(gòu)化主數(shù)據(jù)、以及非結(jié)構(gòu)化主數(shù)據(jù)；

第一元數(shù)據(jù)提取模塊，用于查詢獲取結(jié)構(gòu)化主數(shù)據(jù)的數(shù)據(jù)表結(jié)構(gòu)，根據(jù)所述數(shù)據(jù)表結(jié)構(gòu)得到結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

第二元數(shù)據(jù)提取模塊，用于根據(jù)半結(jié)構(gòu)化主數(shù)據(jù)的格式對半結(jié)構(gòu)化主數(shù)據(jù)進行解析，從解析結(jié)果中提取半結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

第三元數(shù)據(jù)提取模塊，用于調(diào)用各非結(jié)構(gòu)化主數(shù)據(jù)對應(yīng)的算子提取非結(jié)構(gòu)化主數(shù)據(jù)的元數(shù)據(jù)；

處理模塊，用于利用知識圖譜將各元數(shù)據(jù)進行融合關(guān)聯(lián)，得到數(shù)據(jù)湖對應(yīng)的知識圖譜網(wǎng)絡(luò)。

本發(fā)明實施例還提供一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述數(shù)據(jù)湖的知識圖譜生成方法。