[發(fā)明專利]一種數(shù)據(jù)湖環(huán)境下異構(gòu)數(shù)據(jù)源數(shù)據(jù)匯聚的實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201911030622.8
• 申請日: 2019-10-28
• 公開（公告）號: CN111737326B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設計）人: 吳奇鋒
• 申請（專利權(quán)）人: 埃睿迪信息技術(shù)（北京）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 浙江專橙律師事務所 33313
• 代理人: 黃春英

1.一種數(shù)據(jù)湖環(huán)境下異構(gòu)數(shù)據(jù)源數(shù)據(jù)匯聚的實現(xiàn)方法，由以下方法模塊?構(gòu)成，其方法模塊包括查詢處理模塊、事務管理模塊、完整性約束模塊、通?信處理器模塊與應用模塊，其特征在于：所述查詢處理模塊是由檢索子模塊、?終端系統(tǒng)模塊與顯示屏模塊組成的，所述查詢處理模塊內(nèi)部的檢索子模塊用?于不同數(shù)據(jù)的檢索的作用，所述查詢處理模塊內(nèi)部的終端系統(tǒng)模塊用于操控?者操作的作用，所述查詢處理模塊內(nèi)部的顯示屏模塊用于數(shù)據(jù)的顯示的作用；

所述事務管理模塊是由局部事務與全局事務組成的，所述事務管理模塊?內(nèi)部的局部事務具有局部數(shù)據(jù)庫的本地應用向本地?DBMS?提交的事務的作用，?所述事務管理模塊內(nèi)部的全局事務具有全局應用向數(shù)據(jù)庫中間件提交的事務?的作用；

所述完整性約束模塊是指數(shù)據(jù)的正確性和相容性，加在數(shù)據(jù)庫之上的語?義約束條件稱為數(shù)據(jù)庫完整性約束條件，它們作為模式的一部分存入數(shù)據(jù)庫?中；

所述通信處理器模塊是由協(xié)調(diào)控制器、通信模塊與收發(fā)單元模塊組成的，?所述通信處理器模塊內(nèi)部的協(xié)調(diào)控制器用于提供多種通信方式和通信服務，?所述通信處理器模塊內(nèi)部的通信模塊用于采用雙向、單向、面向連接和非連?接的快速安全的通信協(xié)議，來滿足不同速率、不同質(zhì)量的通信要求，所述通?信處理器模塊內(nèi)部的收發(fā)單元模塊用于驅(qū)動不同傳輸介質(zhì)的收發(fā)單元，適應?和使用不同傳輸介質(zhì)構(gòu)成的系統(tǒng)；

所述應用模塊是由顯示模塊、引導模塊與反饋模塊組成的，所述應用模?塊內(nèi)部的顯示模塊用于顯示的作用，所述應用模塊內(nèi)部的引導模塊用于能夠?啟發(fā)和引導用戶正確、有效地進行界面操作的作用，所述應用模塊內(nèi)部的反?饋模塊用于對用戶的誤操作有容忍能力或補救措施時系統(tǒng)及時地給出反饋信?息的作用；所述異構(gòu)數(shù)據(jù)源數(shù)據(jù)匯聚的操作步驟如下：

步驟一：首先構(gòu)建一個數(shù)據(jù)庫元數(shù)據(jù)目錄服務，在建立了數(shù)據(jù)庫元數(shù)據(jù)?目錄服務之后將各個不同的數(shù)據(jù)庫進行導入；

步驟二、建立密碼與解密程序，通過該密碼與解密控制該數(shù)據(jù)庫元數(shù)據(jù)?目錄服務，有了相應的密碼與解密程序應用才可能以統(tǒng)一訪問接口透明地訪?問不同數(shù)據(jù)庫的資源；

步驟三、先將各個數(shù)據(jù)庫的位置和元數(shù)據(jù)信息注冊到?LDAP?目錄中，之后?用戶通過目錄服務便可查詢到所需要的數(shù)據(jù)庫資源位置和元數(shù)據(jù)信息；

步驟四、如果要查詢某個數(shù)據(jù)庫的?DBMS?信息，需先得到目錄的基本結(jié)構(gòu)，?再確定查找的范圍，然后利用?LDAP?的搜索命令來查找；

步驟五、如果想將某個數(shù)據(jù)庫的總數(shù)據(jù)量大小存入?LDAP，?自動算出該數(shù)?據(jù)庫的數(shù)據(jù)量總和，然后填入?LDAP，不要人工干預，

步驟六、對于動態(tài)實時信息，程序生成后自動填入到?LDAP?中，保證用戶?查詢的時候是最新的，要采用程序調(diào)用機制來保證實時性；

步驟七、然后根據(jù)需要去訪問各個數(shù)據(jù)庫，并且得到相應的授權(quán)才能進?行獲取。

2.根據(jù)權(quán)利要求?1?所述的一種數(shù)據(jù)湖環(huán)境下異構(gòu)數(shù)據(jù)源數(shù)據(jù)匯聚的實現(xiàn)?方法，其特征在于：所述查詢處理模塊的操作步驟如下：

步驟一、語法檢查：首先需要進行語法檢查，確認正確后方能進行下一?步處理，語法檢查進行如下處理，對全局查詢語句進行關(guān)鍵字析出和語法判?別，并對應全局數(shù)據(jù)字典檢查涉及的表名和字段名稱，出錯則終止并將錯誤?信息返回給系統(tǒng)；

步驟二、分解翻譯：將正確的全局查詢語句分解為面向各局部數(shù)據(jù)庫的?查詢語句，包括表名、列名、相應函數(shù)的替換，生成對應各局部數(shù)據(jù)庫的查?詢語句；步驟三、查詢優(yōu)化：對涉及多個異構(gòu)數(shù)據(jù)庫的連接查詢，采用啟發(fā)式方法；

步驟四、并行處理：各局部數(shù)據(jù)庫接收到分解翻譯后的子查詢語句后，?互不干擾地并行執(zhí)行；

步驟五、結(jié)果匯總：結(jié)果匯總就是將從各局部數(shù)據(jù)庫得到的查詢結(jié)果進?行匯總，且以統(tǒng)一的數(shù)據(jù)形式輸出，應用獲得的是統(tǒng)一包裝的全局數(shù)據(jù)形式?的數(shù)據(jù)，不必關(guān)心其在具體數(shù)據(jù)庫的形態(tài)。

3.根據(jù)權(quán)利要求?1?所述的一種數(shù)據(jù)湖環(huán)境下異構(gòu)數(shù)據(jù)源數(shù)據(jù)匯聚的實現(xiàn)?方法，其特征在于：企業(yè)數(shù)據(jù)源異構(gòu)性主要表現(xiàn)如下：

一、系統(tǒng)異構(gòu)，即數(shù)據(jù)源所依賴的業(yè)務應用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)乃至?操作系統(tǒng)之間的不同構(gòu)成了系統(tǒng)異構(gòu)；

二、模式異構(gòu)，即數(shù)據(jù)源在存儲模式上的不同，存儲模式主要包括關(guān)系?模式、對象模式、對象關(guān)系模式和文檔嵌套模式；

三、來源異構(gòu)，即企業(yè)內(nèi)部數(shù)據(jù)源和外部數(shù)據(jù)源之間的異構(gòu)。