[發明專利]Elastic Search集群間數據遷移方法、裝置及系統

在審

• 申請號: 202110563748.2
• 申請日: 2021-05-24
• 公開（公告）號: CN113190533A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 梁曄華;張世瑛;趙吉昆;楊嘉欣
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

1.一種Elastic Search集群間數據遷移方法，其特征在于，包括：

將源ES集群中所有待遷移索引寫入預設遷移隊列中；

根據遷移配置文件確定并行遷移的并行任務數量和遷移速度；

啟動所述并行任務數量對應的數據遷移進程根據所述遷移速度分別將所述并行任務數量對應的待遷移索引傳輸至目標ES集群。

2.根據權利要求1所述的Elastic Search集群間數據遷移方法，其特征在于，進一步包括；

預先將源ES集群的IP地址寫入目標ES集群的白名單中。

3.根據權利要求1所述的Elastic Search集群間數據遷移方法，其特征在于，進一步包括預先對所述目標ES集群中索引進行備份的步驟：

建立與目標ES集群中每個目標索引對應的備份索引；

將所述目標索引中的數據復制至所述備份索引中。

4.根據權利要求3所述的Elastic Search集群間數據遷移方法，其特征在于，進一步包括：

將目標索引中的數據復制至所述備份索引的備份進度寫入預設備份進度表中；

當所述備份進度表中的備份進度為備份完成時，通過數據遷移進程將所述待遷移索引的待遷移數據遷移至所述目標ES集群。

5.根據權利要求1所述的Elastic Search集群間數據遷移方法，其特征在于，所述分別將所述并行任務數量對應的待遷移索引傳輸至目標ES集群具體包括：

獲取與所述并行任務數量對應的待遷移索引的待遷移數據；

根據預設加密規則對所述待遷移數據進行加密；

將加密后的待遷移數據傳輸至所述目標ES集群。

6.根據權利要求1所述的Elastic Search集群間數據遷移方法，其特征在于，進一步包括：

根據進程配置管理文件確定節流配置信息；

根據所述節流配置信息調整并行任務數量和遷移速度。

7.根據權利要求1所述的Elastic Search集群間數據遷移方法，其特征在于，進一步包括：

將待遷移索引傳輸至目標ES集群的遷移結果寫入預設結果表中；

根據預設結果表中的遷移結果確定所有傳輸至目標ES集群的待遷移索引是否全部遷移成功；

若否，確定回退或重新遷移未遷移成功的待遷移索引。

8.一種Elastic Search集群間數據遷移裝置，其特征在于，包括：

索引寫入模塊，用于將源ES集群中所有待遷移索引寫入預設遷移隊列中；

遷移配置模塊，用于根據遷移配置文件確定并行遷移的并行任務數量和遷移速度；

數據遷移模塊，用于啟動所述并行任務數量對應的數據遷移進程根據所述遷移速度分別將所述并行任務數量對應的待遷移索引傳輸至目標ES集群。

9.一種Elastic Search集群間數據遷移系統，其特征在于，包括源ES集群、目標ES集群以及如權利要求8所述的數據遷移裝置。

10.一種計算機設備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，

所述處理器執行所述程序時實現如權利要求1-7任一項所述方法。

11.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，

該程序被處理器執行時實現如權利要求1-7任一項所述方法。