[發明專利]一種多源異構數據的語義數據湖構建方法

在審

• 申請號: 201811427793.X
• 申請日: 2018-11-27
• 公開（公告）號: CN111221785A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 陳剛
• 申請（專利權）人: 中云開源數據技術（上海）有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/532;G06F16/28;G06F16/93;G06F16/182;G06F16/17
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 張妍;劉琰

1.一種多源異構數據的語義數據湖構建方法，其特征在于，該方法包含以下步驟：

S1、構建本體，確認本體的屬性和參數，存到數據湖服務器的圖數據庫中；

S2、提取導入的數據文件的內容的語義，建立RDF描述，并將建立好的RDF描述保存到數據湖服務器的文檔型數據庫中；

S3、根據RDF描述并參照相關本體，將RDF描述所對應的文件與本體實現語義層級的關聯，并寫入圖數據庫中。

2.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述RDF描述包含節點和邊，其中，節點表示實體/資源/屬性，邊表示實體和實體之間的關系以及實體和屬性的關系。

3.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述數據湖服務器是包含關系型數據庫、文檔型數據庫、分布式文件系統和圖數據庫這四類數據庫的數據存儲和管理服務平臺，該平臺采用分布式運算和存儲架構，集成了具有數據存儲和運算功能的各類計算機單機、服務器和計算機集群/服務器集群，并提供包括數據管理、算法開發在內的各類功能組件。

4.如權利要求3所述的多源異構數據的語義數據湖構建方法，其特征在于，所述數據存儲和管理服務平臺通過日志文件和元數據文件，對數據文件及其存儲、交換進行組織管理；

其中，所述日志文件包含的日志記錄數據，以鍵值對的形式存在，包含對應以下內容的字段：

當前操作的操作者名稱；

當前操作的類型；

當前操作的內容，即操作動作的執行對象；其中，當操作類型是修改、或創建、或追加時，是指保存對應數據源的位置；當操作類型是查詢時，是指保存對應的查詢語句；

當前操作的日期時間；

當前操作的狀態，用來判斷當前操作是否成功；

當前操作的數據類型；

其中，所述元數據文件包含的文件元數據，以鍵值對的形式存在，其包含對應以下內容的字段：

正在處理的數據的名稱；

對當前數據的描述；

當前數據所屬的用戶；

當前數據所屬的組；

存儲的目的地，其與數據庫類型相匹配；

數據生成的資源描述框架；

元數據創建時間；

元數據更新時間。

5.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述圖數據庫為Neo4j或Cayley或GrapgDB；和/或，所述文檔型數據庫為MongoDB或CouchDB。

6.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述步驟S1中，進一步包含：

根據所要建立圖數據庫的主體，選擇本體關鍵詞，并進一步添加本體的屬性參數描述，用于構建圖形數據庫。

7.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述數據湖服務器的圖數據庫是基于圖數據庫構建和管理的軟件建立的。

8.如權利要求1所述的多源異構數據的語義數據湖構建方法，其特征在于，所述步驟S2可在導入外部數據源的數據文件的同時執行，或者可在導入外部數據源的數據文件之后執行。

9.如權利要求1-8任意一項所述的多源異構數據的語義數據湖構建方法，其特征在于，

所述語義數據湖構建完成后，進一步實現以下過程的一種或多種：

在所述語義數據湖中通過圖數據庫查詢本體，獲得本體相關的屬性；

語義數據湖提供圖形化的檢索界面以及層進式查詢界面，支持查詢結果的數據關系圖譜展示，支持圖譜的相關操作；

獲得查詢結果對應的源文件，并獲得文件或者數據的匹配列表，以及可查詢文件內容；

用戶可進一步在網絡圖譜中確認節點、下鉆細化查詢結果。