[發明專利]一種基于元數據進行數據共享的方法及數據共享系統

在審

• 申請號: 202011110943.1
• 申請日: 2020-10-16
• 公開（公告）號: CN112199431A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 謝進
• 申請（專利權）人: 成都房聯云碼科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/245;G06F16/28;G06F21/46;G06F21/60
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種基于元數據進行數據共享的方法及數據共享系統，方法包括讀取數據庫的表以及ER關系形成基礎的元數據，并添加注釋建立ER關系，刪除元數據中的無用表和字段；獲取頁面數據資源目錄和目錄與數據庫中表的映射關系，生成查詢sql；對數據集構建dataFrame，數據集之間通過dataFrame進行關聯并配置數據共享任務；加載配置文件，并制作容器鏡像推送鏡像至私有鏡像倉庫，部署程序發布數據共享任務；數據共享機構完成注冊并提交請求，完成數據共享秘鑰分配并接收數據配置信息進行數據共享。本發明能實現主動式元數據維護，對接入數據共享的用戶進行統一授權管理，通過數據共享程序的部署和可視化配置，降低了數據共享的技術復雜度，提高數據共享效率。

技術領域

本發明涉及數據共享技術領域，尤其涉及一種基于元數據進行數據共享的方法及數據共享系統。

背景技術

過去20年是中國經濟高速增長的20年，也是中國數字化建設飛速發展的20年，各行各業以及政府都累計了大量的數據。數據的量雖然大，但比較分散，關聯性不強，數據孤島現象比較嚴重。隨著國家“放管服”政策的推行，“讓數據多跑路，讓群眾少破路”已漸漸成為IT系統建設重要指標之一。因此跨行業、跨政府部門甚至政府部門與行業間的數據共享越來越多。

當前數據共享技術基本上都聚焦于硬件設備或者基于不信任的區塊鏈數據共享。但實際上在B端或者G端大都是基于信任的數據共享。基于信任的數據共享，管理的重要性大于數據共享技術實現。換言之，管理數據共享也是一門值得深究的技術。

由于大多IT系統都是按需而建，缺乏統一的頂層規劃，導致數據資源分布在各個IT系統，沒有清晰的目錄結構。實現數據共享的技術手段也是各式各樣，沒有統一的授權以及監控，導致數據管理處于失控的邊緣，存在極大的數據安全隱患。正是由于數據共享的技術沒有統一，數據共享的技術復雜度高，導致數據共享程序開發效率低下，維護成本高。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于元數據進行數據共享的方法及數據共享系統。

本發明的目的是通過以下技術方案來實現的：

一種基于元數據進行數據共享的方法，包括以下步驟：

步驟一：數據資源初始化，通過數據資源初始化子程序讀取數據庫的表以及ER關系，形成基礎的元數據，并對元數據進行添加注釋，建立ER關系，刪除元數據中的無用表和字段；

步驟二：配置數據集，獲取頁面數據資源目錄，根據數據資源目錄與數據庫中表的映射關系，生成數據集的查詢sql并配置sql生成數據集；

步驟三：配置數據共享任務，對每一個數據集構建一個pandas的dataFrame，將多個數據集之間通過dataFrame進行關聯，并將關聯后的多個數據集配置在一個數據共享任務中；

步驟四：發布數據共享任務，選取數據發布方式，加載yaml配置文件至對應模板程序，并制作容器鏡像，推送鏡像至私有鏡像倉庫，選擇部署方式部署相應的數據共享程序，發布數據共享任務；

步驟五：數據共享交換，數據發布機構首先對數據集進行加密，同時數據共享機構完成注冊并提交數據共享權限請求，請求通過之后接收共享數據選擇數據共享任務，與數據發布機構之間進行數據共享秘鑰分配，接收數據配置信息，根據分配的共享密鑰對加密數據集進行解密，并以惰性加載的方式加載解密后的數據集，完成數據共享。

具體的，所述步驟四中的數據發布方式包括RESTFul接口推送方式、庫表推送方式和消息推送方式；

所述RESTFul接口推送方式采用配置程序會讀取數據集對應的sql，然后將sql寫入RESTFul接口 yaml配置文件；