[發明專利]一種數據湖環境下異構數據源數據匯聚的實現方法

有效

• 申請號: 201911030622.8
• 申請日: 2019-10-28
• 公開（公告）號: CN111737326B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 吳奇鋒
• 申請（專利權）人: 埃睿迪信息技術（北京）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 浙江專橙律師事務所 33313
• 代理人: 黃春英

本發明公開了一種數據湖環境下異構數據源數據匯聚的實現方法，由以下方法模塊構成，其方法模塊包括查詢處理模塊、事務管理模塊、完整性約束模塊、通信處理器模塊與應用模塊，所述查詢處理模塊是由檢索子模塊、終端系統模塊與顯示屏模塊組成的，本發明中通過將現有的理論與技術基礎上實現數據訪問、集成和共享的復雜性和可行性，首先要有統一的中間件架構，在底層實現局部各異的訪問，中間層實現統一的中間件操作，高層應用才能進行透明訪問，采用CSCW體系結構中的聯邦結構方式，數據庫元數據目錄服務，Agent的三層協作模型，以及統一的中間數據轉換格式XML等來解決異構數據庫進行匯聚更加的方便。

技術領域

本發明屬于異構數據源相關技術領域，具體涉及一種數據湖環境下異構數據源數據匯聚的實現方法。

背景技術

異構數據庫系統是相關的多個數據庫系統的集合，實現數據的共享和透明訪問，幾個數據庫系統在加入異構數據庫系統之前本身就已經存在，擁有自己的數據陣管理系統、外構數據庫的各個組成部分具有自身的自治性，實現數據共享的同時，每個數據庫系統仍有自己的應用特性、完整性控制和安全性控制。

現有的數據湖環境下異構數據源數據匯聚的實現方法技術存在以下問題：在企業信息化建設過程中，由于各業務系統建設和實施數據管理系統的階段性、技術性以及其它經濟和人為因素等因素影響，導致企業在發展過程中積累了大量采用不同存儲方式的業務數據，包括采用的數據管理系統也大不相同，從簡單的文件數據庫到復雜的網絡數據庫，它們構成了企業的異構數據源。

發明內容

本發明的目的在于提供一種數據湖環境下異構數據源數據匯聚的實現方法，以解決上述背景技術中提出的由于各業務系統建設和實施數據管理系統的階段性、技術性以及其它經濟和人為因素等因素影響導致數據庫具有較大的差異性的問題。

為實現上述目的，本發明提供如下技術方案：

一種數據湖環境下異構數據源數據匯聚的實現方法，由以下方法模塊構成，其方法模塊包括查詢處理模塊、事務管理模塊、完整性約束模塊、通信處理器模塊與應用模塊，所述查詢處理模塊是由檢索子模塊、終端系統模塊與顯示屏模塊組成的，所述查詢處理模塊內部的檢索子模塊用于不同數據的檢索的作用，所述查詢處理模塊內部的終端系統模塊用于操控者操作的作用，所述查詢處理模塊內部的顯示屏模塊用于數據的顯示的作用；

優選的，所述事務管理模塊是由局部事務與全局事務組成的，所述事務管理模塊內部的局部事務具有局部數據庫的本地應用向本地DBMS提交的事務的作用，所述事務管理模塊內部的全局事務具有全局應用向數據庫中間件提交的事務的作用；

優選的，所述完整性約束模塊是指數據的正確性和相容性，加在數據庫之上的語義約束條件稱為數據庫完整性約束條件，它們作為模式的一部分存入數據庫中；

優選的，所述通信處理器模塊是由協調控制器、通信模塊與收發單元模塊組成的，所述通信處理器模塊內部的協調控制器用于提供多種通信方式和通信服務，所述通信處理器模塊內部的通信模塊用于采用雙向、單向、面向連接和非連接的快速安全的通信協議，來滿足不同速率、不同質量的通信要求，所述通信處理器模塊內部的收發單元模塊用于驅動不同傳輸介質的收發單元，適應和使用不同傳輸介質構成的系統；

優選的，所述應用模塊是由顯示模塊、引導模塊與反饋模塊組成的，所述應用模塊內部的顯示模塊用于顯示的作用，所述應用模塊內部的引導模塊用于能夠啟發和引導用戶正確、有效地進行界面操作的作用，所述應用模塊內部的反饋模塊用于對用戶的誤操作有容忍能力或補救措施時系統及時地給出反饋信息的作用。

優選的，所述異構數據源數據匯聚的操作步驟如下：

步驟一：首先構建一個數據庫元數據目錄服務，在建立了數據庫元數據目錄服務之后將各個不同的數據庫進行導入；