[發明專利]集群間數據遷移方法、系統、服務器及計算機存儲介質

有效

• 申請號: 201710555588.0
• 申請日: 2017-06-30
• 公開（公告）號: CN107391629B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 張恒;楊挺
• 申請（專利權）人: 三六零科技集團有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/21
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種集群間數據遷移方法，用于在第一集群和第二集群之間進行數據遷移，第一集群和第二集群均包括一個主節點和至少一個子節點；所述方法包括：

根據數據遷移請求，由第一集群中的各個子節點并行地將各自的數據寫入至中間存儲系統的指定路徑下；

第一集群的主節點將數據表結構以表文件形式備份至主節點本地，并將所述表文件發送至第二集群中的主節點，以供第二集群中的主節點將數據表結構同步至第二集群中的各個子節點；

由第二集群中的各個子節點按照第二集群的數據重分發策略并行地從中間存儲系統的指定路徑中讀取數據并存儲；

其中，所述根據數據遷移請求，由第一集群中的各個子節點并行地將各自的數據寫入至中間存儲系統的指定路徑下進一步包括：

根據數據遷移請求，啟動用于連接第一集群中的各個子節點與中間存儲系統的數據寫入服務，其中，所述數據寫入服務預先配置有用于將數據寫入至中間存儲系統中的指定路徑；

讀取以數據表形式分布式存儲于各個子節點中的數據，根據所述指定路徑，通過所述數據寫入服務并行地將各自的數據以數據文件的形式寫入至中間存儲系統的指定路徑下。

2.根據權利要求1所述的方法，其中，所述方法還包括：在數據寫入完成后，注銷用于連接第一集群中的各個子節點與中間存儲系統的數據寫入服務。

3.根據權利要求1或2所述的方法，其中，所述根據所述指定路徑，通過所述數據寫入服務并行地將各自的數據以數據文件的形式寫入至中間存儲系統的指定路徑下進一步包括：

針對不同的數據表，在所述指定路徑下自動創建數據表存儲目錄，所述數據表存儲目錄的目錄名至少包含數據表標識；

根據所述數據表存儲目錄，通過所述數據寫入服務并行地將各自的數據以數據文件的形式寫入至中間存儲系統的指定路徑下。

4.根據權利要求3所述的方法，其中，針對一個數據表，每個子節點存儲該數據表的部分數據；

所述通過所述數據寫入服務并行地將各自的數據以數據文件的形式寫入至中間存儲系統的指定路徑下進一步包括：

針對每一個數據表，通過數據寫入服務將子節點存儲的該數據表的部分數據以一個單獨的數據文件的形式寫入至中間存儲系統的指定路徑下。

5.根據權利要求1所述的方法，其中，所述方法還包括：

所述中間存儲系統對指定路徑下的各數據文件進行壓縮處理，得到壓縮處理后的數據文件。

6.根據權利要求1所述的方法，其中，所述中間存儲系統中數據文件以數據表標識、子節點標識命名，并攜帶有數據寫入時間信息。

7.根據權利要求1所述的方法，其中，所述中間存儲系統中存儲的數據文件的數量與數據表數量和子節點數量相關。

8.根據權利要求1所述的方法，其中，所述由第二集群中的各個子節點按照第二集群的數據重分發策略并行地從中間存儲系統的指定路徑中讀取數據并存儲進一步包括：

根據數據遷移請求，啟動用于連接第二集群中的各個子節點與中間存儲系統的數據讀取服務，其中，所述數據讀取服務預先配置有用于讀取中間存儲系統中數據的指定路徑；

根據所述指定路徑，通過所述數據讀取服務讀取所述中間存儲系統中的數據文件；

按照數據重分發策略依次判斷數據文件中的各個數據分片是否屬于該子節點待存儲的數據；

若是，則由該子節點存儲對應的數據分片；

若否，則將數據分片分發給對應的子節點進行存儲。

9.根據權利要求8所述的方法，其中，所述按照數據重分發策略依次判斷數據文件中的各個數據分片是否屬于該子節點待存儲的數據進一步包括：

確定數據分片中屬于預設分布列的數據；

對屬于預設分布列的數據進行哈希處理，得到哈希值；

依據所述哈希值判斷數據文件中的各個數據分片是否屬于該子節點待存儲的數據；

若否，則根據所述哈希值將數據分發至對應的子節點進行存儲。