[發明專利]一種多源異構數據的語義數據湖構建方法

在審

• 申請號: 201811427793.X
• 申請日: 2018-11-27
• 公開（公告）號: CN111221785A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 陳剛
• 申請（專利權）人: 中云開源數據技術（上海）有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/532;G06F16/28;G06F16/93;G06F16/182;G06F16/17
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 張妍;劉琰

本發明公開了一種多源異構數據的語義數據湖構建方法，包含以下步驟：S1、構建本體，確認本體的屬性和參數，存到數據湖服務器的圖數據庫中；S2、提取導入的數據文件的內容的語義，建立RDF描述，并將建立好的RDF描述保存到數據湖服務器的文檔型數據庫中；S3、根據RDF描述并參照相關本體，將RDF描述所對應的文件與本體實現語義層級的關聯，并寫入圖數據庫中。本發明可展示語義數據的節點關系，還能處理本體數據以及處理與本體關聯的數據文件，實現人工可干預的操作，語義數據湖檢索便利，還能方便進一步詳細獲取檢索結果文件。

技術領域

本發明涉及多源異構數據的收集與管理和應用領域，特別涉及一種多源異構數據的語義數據湖構建方法。

背景技術

數據庫技術是現代計算機信息系統和計算機應用系統的基礎和核心，是信息系統的重要組成部分。在進行數據庫應用系統開發時，通常需要將數據庫數據導出以用于本系統備份或與其它系統進行數據共享和交換。

數據湖或hub的概念最初是由大數據廠商提出的，表面上看，數據都是承載在基于可向外擴展的HDFS(Hadoop分布式文件系統)廉價存儲硬件之上的。但數據量越大，越需要各種不同種類的存儲。最終，所有的企業數據都可以被認為是大數據，但并不是所有的企業數據都是適合存放在廉價的HDFS集群之上的。數據湖的一部分價值是把不同種類的數據匯聚到一起，另一部分價值是不需要預定義的模型就能進行數據分析。現在的大數據架構是可擴展的，并且可以為用戶提供越來越多的實時分析。數據湖架構面向多數據源的信息存儲，包括物聯網在內。大數據分析或歸檔可通過訪問數據湖處理或交付數據子集給請求用戶。

為了可以解決語義檢索的復雜性與便利性的問題，實現自動化建立，檢索便利，則需要提供一種多源異構數據的語義數據湖構建方法，使得可以展示語義數據的節點關系，還能處理本體數據以及處理與本體關聯的數據文件。

發明內容

本發明的目的在于提供一種多源異構數據的語義數據湖構建方法，通過構造圖數據庫本體并確認本體屬性和參數，保存到圖數據庫中，并建立與本體相關的文件的RDF描述，保存到文檔型數據庫，根據RDF描述并參照已有圖數據庫本體以及屬性，建立本體與相關的文件的RDF關聯，并寫入文檔型數據庫，可以展示語義數據的節點關系，還能處理本體數據以及處理與本體關聯的數據文件，實現本發明人工可干預的操作，語義數據湖檢索便利，還能方便進一步詳細獲取檢索結果文件。

為了達到上述目的，本發明提供了一種多源異構數據的語義數據湖構建方法，該方法包含以下步驟：

S1、構建本體，確認本體的屬性和參數，存到數據湖服務器的圖數據庫中；

S2、提取導入的數據文件的內容的語義，建立RDF描述，并將建立好的RDF描述保存到數據湖服務器的文檔型數據庫中；

S3、根據RDF描述并參照相關本體，將RDF描述所對應的文件與本體實現語義層級的關聯，并寫入圖數據庫中。

優選地，所述RDF描述包含節點和邊，其中，節點表示實體/資源/屬性，邊表示實體和實體之間的關系以及實體和屬性的關系。

優選地，所述數據湖服務器是包含關系型數據庫、文檔型數據庫、分布式文件系統和圖數據庫這四類數據庫的數據存儲和管理服務平臺，該平臺采用分布式運算和存儲架構，集成了具有數據存儲和運算功能的各類計算機單機、服務器和計算機集群/服務器集群，并提供包括數據管理、算法開發在內的各類功能組件。

優選地，所述數據存儲和管理服務平臺通過日志文件和元數據文件，對數據文件及其存儲、交換進行組織管理；其中，所述日志文件包含的日志記錄數據，以鍵值對的形式存在，包含對應以下內容的字段：

當前操作的操作者名稱；

當前操作的類型；