[發明專利]一種實現多集群間聯合查詢和快速數據遷移的方法

在審

• 申請號: 202011279673.7
• 申請日: 2020-11-16
• 公開（公告）號: CN112306996A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 趙偉;李卓印;李宇豪
• 申請（專利權）人: 天津南大通用數據技術股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;G06F9/455;G06F9/50
• 代理公司: 天津企興智財知識產權代理有限公司 12226
• 代理人: 李彥彥

1.一種實現多集群間聯合查詢和快速數據遷移的方法，其特征在于，包括：

將每個用戶的數據進行單獨隔離，形成虛擬集群；

每個虛擬集群為一個單獨的子集群，每個子集群包含多種業務數據；

多個子集群由同一個coordinator集群統一管理；

多個子集群還均連接元數據集群，所述元數據集群存儲著每個子集群的元數據。

2.根據權利要求1所述的實現多集群間聯合查詢和快速數據遷移的方法，其特征在于：

每個所述虛擬集群包括多個存儲單元以及與對應存儲單元通信連接的計算單元；

每個所述計算單元還包括異步處理單元。

3.根據權利要求1所述的實現多集群間聯合查詢和快速數據遷移的方法，其特征在于，多個虛擬集群間數據流轉的方法如下：

S1、虛擬集群二接收抽取任務；

S2、把任務發送給虛擬集群二的計算單元：

S3、本地掃描數據，找到所需的數據行；

S4、分批物化一定行數數據，發送給異步發送單元；

S5、繼續物化數據：

S6、等待所有數據發送完。

4.根據權利要求3所述的實現多集群間聯合查詢和快速數據遷移的方法，其特征在于，異步處理單元進行異步發送的方法如下：

S401、異步處理接收處理任務：

S402、訪問公共元數據集群，得到目標表在虛擬集群一的數據分布信息；

S403、計算得到每行數據在虛擬機群一的目標節點和表分片；

S404、把數據行依次推送到目標節點、目標表分片的發送隊列；

S405、當隊列中的數據達到設定行數時，壓縮數據塊，并發給目標虛擬集群的對應計算單元；

S407、虛擬集群一的計算單元接收數據，并直接存儲到本地。