[發明專利]一種通用的分布式異構數據一體化邏輯匯聚組織、發布與服務方法及系統

有效

• 申請號: 202010021145.5
• 申請日: 2020-01-09
• 公開（公告）號: CN111274294B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 劉峰;陳昕;夏景隆;韓芳;周園春
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/955
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種通用的分布式異構數據一體化邏輯匯聚組織、發布與服務方法及系統。該方法包括：1)在中心端對公共基礎數據進行注冊，包括分布端的數據節點注冊、元數據擴展要素注冊、分類體系注冊、許可協議注冊；2)在分布端進行分布式異構數據的建庫、管理與描述；3)在分布端進行分布式異構數據的統一封裝與發布組織；4)在中心端進行數據資源集中發布審核與監控；5)在中心端進行數據資源的集成共享服務。本發明具有一體化、通用可定制特點，保證了數據組織、管理、封裝、發布、審核與服務全流程的整體連通、高可定制和高可復用，大大提升了數據服務封裝的通用性和靈活性。

技術領域

本發明涉及數據管理與共享服務領域，尤其涉及一種通用的分布式異構數據一體化邏輯匯聚組織、發布與服務方法及系統。用戶可以統一實現將分布式異構數據進行邏輯的匯聚組織、集中發布審核監控與集成共享服務。

背景技術

伴隨著云計算、大數據、人工智能技術給人類社會信息化發展帶來極大的促進作用，人們對數據資源的重要性的認識也越來越深刻，已經上升到國家重要的戰略資源的層面。同時，促進數據融合、開放共享的需求也越來越強烈，國家也出臺了“以數據集中和共享為途徑，建設全國一體化的國家大數據中心的發展戰略”。社會各領域各層級數據中心，數據資源共享服務平臺正在不斷建立。

目前數據共享服務平臺的數據資源大多組織成數據集形式提供共享，包括元數據和實體數據。其中數據集元數據由于信息存儲量較少，容易集中匯集存儲，而實體數據是數據資源的核心，受集中存放意愿，集中的存儲環境等多種情況制約，在某些條件下無法進行數據資源物理匯聚(即實體數據集中匯集，統一集中存儲)，需要實現數據資源邏輯匯聚(即實體數據仍然分散存儲，通過數據訪問接口進行集成共享服務)。

目前數據資源邏輯匯聚中，實體數據多以文件接口或數據訪問頁面URL的形式提供，嚴重影響了數據服務的構建和服務體驗，存在以下不足：

(1)缺乏一個通用可定制的異構數據邏輯匯聚組織封裝、發布與共享服務的一體化解決方法，現有的平臺僅支持局限的某個或某些過程的服務子集；并且現有平臺多為根據建設需求專門化的設計開發，缺乏定制化、通用化的解耦設計，降低了開發實現的效率，產生了大量重復工作，加大了研發成本。

(2)無法實現(關系型、文件型)異構數據資源的統一共享服務，實體數據訪問接口僅提供文件訪問形式或頁面訪問形式。弱化了關系型結構化數據在線統一服務的優勢，弱化了關系型數據庫表之間相互關聯服務的優勢。

(3)在共享數據組織模型方面缺乏國際認可的唯一標識的引入和規范化數據引用的引入。

(4)在服務形式方面缺乏數據訪問接口的監控預警，缺乏面向實體數據文件內容的全文檢索、缺乏關系型實體數據的全字段定制化檢索、簡單的融合服務集成(如與數據子表關聯，各種URL展示關聯，枚舉列表關聯等)，缺乏數據集的多種關聯推薦模式，缺乏數據資源API的封裝服務，缺乏面向用戶的個性化服務支撐，缺乏平臺的多語言國際化的支撐等等。

發明內容

針對以上分布式數據管理與共享服務方面存在的弊端，本發明提出了一種通用的分布式異構數據一體化邏輯匯聚組織、發布與服務方法及系統設計。

本發明采用的技術方案如下：

一種通用的分布式異構數據一體化邏輯匯聚組織、發布與服務方法，其特征在于，包括以下步驟：

1)在中心端對公共基礎數據進行注冊，包括分布端的數據節點注冊、元數據擴展要素注冊、分類體系注冊、許可協議注冊；

2)在分布端進行分布式異構數據的建庫、管理與描述；

3)在分布端進行分布式異構數據的統一封裝與發布組織；

4)在中心端進行數據資源集中發布審核與監控；

5)在中心端進行數據資源的集成共享服務。