[發明專利]Hbase的數據在線遷移方法和裝置

在審

• 申請號: 201711262754.4
• 申請日: 2017-12-04
• 公開（公告）號: CN108038153A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 劉志杰
• 申請（專利權）人: 北京小度信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

本申請提供了一種Hbase的數據在線遷移方法和裝置，該方法包括：從第一時刻開始，將第一集群的數據鏡像到第二集群；在鏡像結束后的第二時刻，開啟第一集群和第二集群的雙向同步，將第二時刻之后第一集群和第二集群更新的數據在兩個集群之間進行同步；將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群。在不停止對原集群的寫訪問的情況下，實現了不中斷業務的數據在線遷移。

技術領域

本申請涉及互聯網數據服務技術，具體涉及一種Hbase的數據在線遷移方法和裝置。

背景技術

Hadoop數據庫(Hadoop Database，HBase)是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價的個人電腦服務器(PC Server)上搭建起大規模結構化存儲集群。

HBase的數據進行離線遷移時，將數據從原集群拷貝到目標集群；而對數據進行在線遷移時，通常需要停止對原集群的寫訪問，會使前端業務出現中斷。

發明內容

有鑒于此，本申請實施例提供了一種Hbase的數據在線遷移方法和裝置，以解決Hbase的數據在線遷移會中斷前端業務的技術問題。

根據本申請實施例的一個方面，提供了一種Hbase的數據在線遷移方法，所述方法包括：從第一時刻開始，將第一集群的數據鏡像到第二集群；在鏡像結束后的第二時刻，開啟第一集群和第二集群的雙向同步，將第二時刻之后第一集群和第二集群更新的數據在兩個集群之間進行同步；將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群。

在一個實施例中，從第一時刻開始，將第一集群的數據鏡像到第二集群包括：將與第一集群需要被遷移的表相同的表結構創建至第二集群；控制第一集群獲取需要被遷移的表的快照并將所述快照拷貝到第二集群；控制第二集群在所述表結構下根據所述快照復位對應的數據。

在一個實施例中，在鏡像結束后的第二時刻，開啟第一集群和第二集群的雙向同步，將第二時刻之后第一集群和第二集群更新的數據在兩個集群之間進行同步包括：建立第一集群與第二集群之間的同步復制關系；為第二時刻之后第一集群和第二集群更新的數據所在的表添加復制屬性；將被添加復制屬性的表在兩個集群之間進行數據同步更新。

在一個實施例中，將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群包括：保持第一集群與第二集群之間的同步復制關系，將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群對應的表。

在一個實施例中，Hbase的數據在線遷移方法還包括：將針對第一集群被遷移數據的讀訪問和寫訪問切換到第二集群。

根據本申請實施例的另一個方面，提供了一種Hbase的數據在線遷移裝置，所述裝置包括：數據鏡像模塊，用于從第一時刻開始，將第一集群的數據鏡像到第二集群；雙向同步模塊，用于在鏡像結束后的第二時刻，開啟第一集群和第二集群的雙向同步，將第二時刻之后第一集群和第二集群更新的數據在兩個集群之間進行同步；拷貝模塊，用于將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群。

在一個實施例中，數據鏡像模塊包括：表結構創建單元，用于將與第一集群需要被遷移的表相同的表結構創建至第二集群；快照處理單元，用于控制第一集群獲取需要被遷移的表的快照并將所述快照拷貝到第二集群；數據復位單元，用于控制第二集群在所述表結構下根據所述快照復位對應的數據。

在一個實施例中，雙向同步模塊包括：同步關系建立單元，用于建立第一集群與第二集群之間的同步復制關系；屬性添加單元，用于為第二時刻之后第一集群和第二集群更新的數據所在的表添加復制屬性；同步更新單元，用于將被添加復制屬性的表在兩個集群之間進行數據同步更新。

在一個實施例中，拷貝模塊進一步用于：保持第一集群與第二集群之間的同步復制關系，將從第一時刻到第二時刻的時間段內第一集群更新的數據拷貝到第二集群對應的表。