[發(fā)明專利]基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811640313.8
• 申請日: 2018-12-29
• 公開（公告）號: CN109783484A
• 公開（公告）日: 2019-05-21
• 發(fā)明（設(shè)計）人: 徐汕;梁炬;黃文鋒;張晶亮;劉強;單酉;楊端;衛(wèi)未
• 申請（專利權(quán)）人: 北京航天云路有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/36
• 代理公司: 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 白明珠

本發(fā)明公開了一種基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建方法及系統(tǒng)，包括以下步驟：將多源異構(gòu)數(shù)據(jù)進(jìn)行清洗；針對清洗后的數(shù)據(jù)進(jìn)行查詢，將查詢后的數(shù)據(jù)通過redis生成資源ID；構(gòu)建OWL本體并對插件進(jìn)行管理，將所述數(shù)據(jù)利用列式數(shù)據(jù)庫進(jìn)行存儲。本發(fā)明有益效果：面向?qū)ο蟮睾挽`活地存儲數(shù)據(jù)，充分挖掘非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中蘊藏的知識信息，有助于為后期各種應(yīng)用領(lǐng)域提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)物聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體來說，涉及一種基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建方法及系統(tǒng)。

背景技術(shù)

知識圖譜旨在描述真實世界中存在的各種實體或概念，以及他們之間的關(guān)聯(lián)關(guān)系，它的每一個實體用全局唯一確定的ID來標(biāo)識，就如每個人都有一個身份證號碼；第二個就是用屬性-值對來刻畫實體的內(nèi)在特性，用關(guān)系來連接兩個實體，刻畫他們之間的關(guān)聯(lián)。

信息技術(shù)尤其是互聯(lián)網(wǎng)的飛速發(fā)展，推動著大數(shù)據(jù)時代的來臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計量單位已從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來衡量，對大數(shù)據(jù)數(shù)據(jù)的采集已經(jīng)不再是技術(shù)問題，但其蘊藏的知識大量存在于非結(jié)構(gòu)化的文本數(shù)據(jù)和大量半結(jié)構(gòu)化的表格和網(wǎng)頁以及生產(chǎn)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)中；傳統(tǒng)的數(shù)據(jù)信息存儲采用關(guān)系型數(shù)據(jù)庫,其設(shè)計復(fù)雜、冗余度大且查詢效率低,無法直接獲取數(shù)據(jù)中需要推理、挖掘的隱性語義信息。

針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對相關(guān)技術(shù)中的上述技術(shù)問題，本發(fā)明提出一種基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建方法及系統(tǒng)，能夠面向?qū)ο蟮睾挽`活地存儲數(shù)據(jù)，充分挖掘數(shù)據(jù)中蘊藏的知識信息，有助于為后期各種應(yīng)用領(lǐng)域提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)。

為實現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建方法，包括以下步驟：

將多源異構(gòu)數(shù)據(jù)進(jìn)行清洗；

針對清洗后的數(shù)據(jù)進(jìn)行查詢，將查詢后的數(shù)據(jù)通過redis生成資源ID；

構(gòu)建OWL本體并對插件進(jìn)行管理，將所述數(shù)據(jù)利用列式數(shù)據(jù)庫進(jìn)行存儲。

進(jìn)一步地，所述將多源異構(gòu)數(shù)據(jù)進(jìn)行清洗包括：

針對不同數(shù)據(jù)源加載ETL插件獲取ETL規(guī)則，構(gòu)建實體后獲取實體間的關(guān)系；

調(diào)用資源服務(wù)子系統(tǒng)獲取資源ID；

將資源化后的數(shù)據(jù)生成結(jié)構(gòu)化的數(shù)據(jù)對象。

進(jìn)一步地，所述將多源異構(gòu)數(shù)據(jù)進(jìn)行清洗之前還包括，利用數(shù)據(jù)采集客戶端采集多源異構(gòu)數(shù)據(jù)。

進(jìn)一步地，所述數(shù)據(jù)采集客戶端包括數(shù)據(jù)獲取程序組件、關(guān)聯(lián)ID生成組件、關(guān)聯(lián)ID發(fā)送組件和非主動服務(wù)響應(yīng)組件。

進(jìn)一步地，所述針對清洗后的數(shù)據(jù)進(jìn)行查詢包括

利用全文搜索引擎訪問全局ID；

在圖數(shù)據(jù)庫中，根據(jù)所述全局ID檢索相互關(guān)聯(lián)的實體，返回所有關(guān)聯(lián)ID；

在分布式數(shù)據(jù)存儲系統(tǒng)中，根據(jù)所述關(guān)聯(lián)ID檢索結(jié)構(gòu)化數(shù)據(jù)，返回相應(yīng)屬性結(jié)果。

本發(fā)明的另一方面，提供一種基于知識圖譜的數(shù)據(jù)服務(wù)平臺的構(gòu)建系統(tǒng)，包括：

數(shù)據(jù)清洗模塊，用于將多源異構(gòu)數(shù)據(jù)進(jìn)行清洗；

資源服務(wù)子系統(tǒng)模塊，用于針對清洗后的數(shù)據(jù)進(jìn)行查詢，將查詢后的數(shù)據(jù)通過redis生成資源ID；

本體管理模塊，用于構(gòu)建OWL本體并對插件進(jìn)行管理，將所述數(shù)據(jù)利用列式數(shù)據(jù)庫進(jìn)行存儲。