[發明專利]集群間數據遷移方法、系統、服務器及計算機存儲介質

有效

• 申請號: 201710555588.0
• 申請日: 2017-06-30
• 公開（公告）號: CN107391629B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 張恒;楊挺
• 申請（專利權）人: 三六零科技集團有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/21
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種集群間數據遷移方法、系統、服務器及計算機存儲介質。其中，所述方法用于在第一集群和第二集群之間進行數據遷移，第一集群和第二集群均包括一個主節點和至少一個子節點；方法包括：根據數據遷移請求，由第一集群中的各個子節點并行地將各自的數據寫入至中間存儲系統的指定路徑下；第一集群的主節點將數據表結構以表文件形式備份至主節點本地，并將表文件發送至第二集群中的主節點，以供第二集群中的主節點將數據表結構同步至第二集群中的各個子節點；由第二集群中的各個子節點按照第二集群的數據重分發策略并行地從中間存儲系統的指定路徑中讀取數據并存儲，提高了數據的遷移速度，減少了數據遷移所需的時間。

技術領域

本發明涉及計算機技術領域，具體涉及一種集群間數據遷移方法、系統、服務器及計算機存儲介質。

背景技術

隨著互聯網應用的發展，用戶量的激增，數據存儲數量呈指數遞增，傳統的單庫存儲技術無法滿足海量數據的存取需求，分布式數據庫應用而生，例如，Greenplum數據庫。

然而，實際應用過程中，不可避免地涉及數據遷移，例如，線上某個集群需要下線，或者機房維護搬遷的時候，都會面臨海量數據遷移的緊迫任務，需要將老集群的數據表遷移到新集群中，以繼續提供服務。

現有的技術方案在進行數據遷移時，是兩個集群之間直接傳輸數據，針對每個數據表，每個節點都需要啟動遠程傳輸的進程，啟動服務所需時間長，而當數據表中數據很少時，傳輸數據所需時間可能很短，還不及啟動服務所需的時間，就會造成數據遷移速度非常慢，而且現有的數據遷移方法，無法在集群間傳輸空表，遇到空表時，進程就會阻塞，另外，現有的數據遷移方法不支持將子節點數量多的集群的數據遷移至子節點數量少的集群。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的集群間數據遷移方法、集群間數據遷移系統、服務器及計算機存儲介質。

根據本發明的一個方面，提供了一種集群間數據遷移方法，用于在第一集群和第二集群之間進行數據遷移，第一集群和第二集群均包括一個主節點和至少一個子節點；所述方法包括：

根據數據遷移請求，由第一集群中的各個子節點并行地將各自的數據寫入至中間存儲系統的指定路徑下；

第一集群的主節點將數據表結構以表文件形式備份至主節點本地，并將表文件發送至第二集群中的主節點，以供第二集群中的主節點將數據表結構同步至第二集群中的各個子節點；

由第二集群中的各個子節點按照第二集群的數據重分發策略并行地從中間存儲系統的指定路徑中讀取數據并存儲。

根據本發明的另一方面，提供了一種集群間數據遷移系統，用于在第一集群和第二集群之間進行數據遷移，該系統包括：第一集群、第二集群、中間存儲系統，其中，第一集群和第二集群均包括一個主節點和至少一個子節點；

第一集群中的各個子節點，適于根據數據遷移請求，并行地將各自的數據寫入至中間存儲系統的指定路徑下；

第一集群的主節點，適于第一集群的主節點將數據表結構以表文件形式備份至主節點本地，并將表文件發送至第二集群中的主節點，以供第二集群中的主節點將數據表結構同步至第二集群中的各個子節點；

第二集群中的各個子節點，適于按照第二集群的數據重分發策略并行地從中間存儲系統的指定路徑中讀取數據并存儲。

根據本發明的又一方面，提供了一種服務器，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行上述集群間數據遷移方法對應的操作。