[發明專利]Druid集群的遷移方法、裝置及計算機設備

有效

• 申請號: 202010173251.5
• 申請日: 2020-03-13
• 公開（公告）號: CN111506555B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 蔡勁;萬書武;賀波;蔣英明
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本申請公開了一種Druid集群的遷移方法、裝置及計算機設備，涉及計算機技術領域，可解決在進行Druid集群的遷移時，狀態數據無法識別，且遷移周期長、工作效率低的問題。其中方法包括：獲取需要進行集群遷移的待遷移Druid集群以及符合配置要求的目標Druid集群；通過擴容Zookeeper集群將所述待遷移Druid集群中的狀態數據遷移至所述目標Druid集群；在完成對所述狀態數據的遷移后，將所述待遷移Druid集群中的元數據遷移至所述目標Druid集群；在完成對所述元數據的遷移后，通過增加Historical服務將所述待遷移Druid集群的Druid集群服務切換為所述目標Druid集群的Druid集群服務，以便實現對所述待遷移Druid集群的遷移。本申請適用于對Druid集群的遷移。

技術領域

本申請涉及計算技術領域，尤其涉及到一種Druid集群的遷移方法、裝置及計算機設備。

背景技術

Hadoop集群內部搭建一套包含多臺機器的Druid集群，由于數據量的增加、任務的增多以及對集群性能要求的增加，因此之前搭建的Duird集群的機器配置完全不能滿足現在的要求，從而需要更換配置更高的機器搭建新的Druid集群，以滿足集群性能及業務需求。因此需要將Druid集群的服務和數據遷移到新搭建的Druid集群上。

目前在進行Druid集群的遷移時，主要通過將Zookeeper里面Druid的狀態數據直接用復制的方式復制到新Druid集群的機器上，遠程將Druid集群的機器上本地緩存的數據遷移到新Druid集群的相同目錄下或者直接啟動Historical服務讓其自行從HDFS上將數據下載到本地緩存。然而這種數據遷移方式會容易使遷移過去的Druid的狀態數據無法識別，并且會使數據遷移的周期較長，影響工作效率。

發明內容

有鑒于此，本申請提供了一種Druid集群的遷移方法、裝置及計算機設備，可以解決在進行Druid集群的遷移時，狀態數據無法識別，且遷移周期長、工作效率低的問題。

根據本申請的一個方面，提供了一種Druid集群的遷移方法，該方法包括：

獲取需要進行集群遷移的待遷移Druid集群以及符合配置要求的目標Druid集群；

通過擴容Zookeeper集群將所述待遷移Druid集群中的狀態數據遷移至所述目標Druid集群；

在完成對所述狀態數據的遷移后，將所述待遷移Druid集群中的元數據遷移至所述目標Druid集群；

在完成對所述元數據的遷移后，通過增加Historical服務將所述待遷移Druid集群的Druid集群服務切換為所述目標Druid集群的Druid集群服務，以便實現對所述待遷移Druid集群的遷移。

相應的，所述通過擴容Zookeeper集群將所述待遷移Druid集群中的狀態數據遷移至所述目標Druid集群，具體包括：

獲取所述待遷移Druid集群的Zookeeper狀態；

基于所述Zookeeper狀態將所述目標Druid集群的Zookeeper集群擴容至所述待遷移Druid集群的Zookeeper集群中，以便將所述待遷移Druid集群中的狀態數據遷移至所述目標Druid集群。

具體地，所述基于所述Zookeeper狀態將所述目標Druid集群的Zookeeper集群擴容至所述待遷移Druid集群的Zookeeper集群中，以便將所述待遷移Druid集群中的狀態數據遷移至所述目標Druid集群，具體包括：

從所述目標Druid集群中提取預設數量個目標Zookeeper集群；

啟動所述目標Zookeeper集群的ZooKeeper服務；