[發明專利]用于分布式數據存儲集群的數據遷移方法和裝置

有效

• 申請號: 201810877478.0
• 申請日: 2018-08-03
• 公開（公告）號: CN110807013B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 馬振林
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 許懷遠

本申請實施例提供了一種用于分布式數據存儲集群的數據遷移方法和裝置，其中方法包括：獲取源集群的工作節點的預寫式日志WAL，該WAL用于記錄工作節點的已存儲數據，讀取WAL的內容，以從工作節點的已存儲數據中獲取目標遷移數據，將目標遷移數據發送至消息中間件，消息中間件用于向目標數據集群提供目標遷移數據。

技術領域

本申請涉及計算機領域，尤其涉及一種用于分布式數據存儲集群的數據遷移方法和裝置。

背景技術

在分布式數據存儲集群中，通常需要將數據庫存儲的數據同步到其他數據庫中。以HBase為例，通常需要將HBase中的數據同步到其他數據庫中，如將HBase中的數據同步到其他數據庫中進行數據分析，或者將HBase中的數據同步到其他數據庫中創建檢索索引。基于此，有必要提供一種技術方案，以對分布式數據存儲集群存儲的數據進行遷移。

發明內容

本申請實施例的目的是提供一種用于分布式數據存儲集群的數據遷移方法和裝置，以對分布式數據存儲集群存儲的數據進行遷移。

為達到上述目的，本申請實施例是這樣實現的：

本申請實施例提供了一種用于分布式數據存儲集群的數據遷移方法，包括：獲取源集群的工作節點的預寫式日志WAL，所述WAL用于記錄所述工作節點的已存儲數據；讀取所述WAL的內容，以從所述工作節點的已存儲數據中獲取目標遷移數據；將所述目標遷移數據發送至消息中間件，所述消息中間件用于向目標數據集群提供所述目標遷移數據。

本申請實施例提供了一種用于分布式數據存儲集群的數據遷移裝置，包括：獲取模塊，用于獲取源集群的工作節點的預寫式日志WAL，所述WAL用于記錄所述工作節點的已存儲數據；讀取模塊，用于讀取所述WAL的內容，以從所述工作節點的已存儲數據中獲取目標遷移數據；遷移模塊，用于將所述目標遷移數據發送至消息中間件，所述消息中間件用于向目標數據集群提供所述目標遷移數據。

本申請實施例提供了一種用于分布式數據存儲集群的數據遷移設備，包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器實現上述的數據遷移方法。

本申請實施例提供了一種存儲介質，用于存儲計算機可執行指令，所述可執行指令在被執行時實現上述的數據遷移方法。

本實施例中，通過獲取源集群的工作節點的預寫式日志WAL，該WAL用于記錄工作節點的已存儲數據，讀取WAL的內容，以從工作節點的已存儲數據中獲取目標遷移數據，將目標遷移數據發送至用于向目標數據集群提供目標遷移數據消息中間件，能夠對源集群存儲的數據進行遷移，將源集群存儲的數據導入目標數據集群。由于無需監聽分布式數據存儲集群的數據存儲操作，通過讀取WAL的內容即可獲取目標遷移數據，因此使得數據遷移流程與數據存儲流程互不干涉，節省了系統資源，提高了數據遷移效率。

附圖說明

為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本申請一實施例提供的分布式數據存儲集群的示意圖；

圖2為本申請一實施例提供的數據遷移方法的流程示意圖；

圖3為本申請一實施例提供的數據遷移的示意圖；

圖4a為本申請一實施例提供的數據遷移的示意圖；

圖4b為本申請一實施例提供的數據遷移的示意圖；

圖5為本申請一實施例提供的數據遷移裝置的模塊組成示意圖；

圖6為本申請一實施例提供的數據遷移設備的結構示意圖。

具體實施方式