[發明專利]一種實現數據中心備份的方法和裝置

有效

• 申請號: 201410032550.1
• 申請日: 2014-01-23
• 公開（公告）號: CN103761167B
• 公開（公告）日: 2017-04-05
• 發明（設計）人: 劉璧怡;鄧強;吳楠;鄧鵬飛;宗棟瑞
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 王丹,栗若木

技術領域

本發明涉及大數據領域，尤其涉及一種基于Hbase的數據中心的備份方法和裝置。

背景技術

Hbase的數據存儲通常是基于Hadoop的分布式文件存儲（HDFS，Hadoop?Distributed?File?System），HDFS在原數據中心中進行數據存儲時通常要進行備份，默認備份三份，其中，兩份備份在歸屬于相同機架的兩個不同的數據節點中，另外一份備份在歸屬于與上述機架不同的其他機架的一個數據節點中。同時，為了保證數據中心出現故障時，仍然能夠正常工作，需要對數據中心進行備份。

現有的實現數據中心備份的方法包括：

獲取原數據中心中待備份的數據塊；在目標數據中心中隨機選擇1個數據節點對數據塊在目標數據中心中備份，然后根據現有的備份方法選擇另外兩個數據節點進行備份。

上述數據存儲方法由于在進行數據中心備份時，目標數據中心的1個數據節點是隨機選擇的，而Hbase的數據存儲是基于列族數據進行存儲的，即在原數據中心中，將表格中屬于同一列族數據的數據塊集中存儲在同一個數據節點或鄰近幾個數據節點中，這樣當在進行數據讀取時，需要根據讀取的數據所在列族名查找該列族名所在的所有數據節點，查找到的數據節點有可能分布在目標數據中心的所有數據節點中。使得采用上述方法進行Hbase跨數據中心數據備份時，不能充分利用列族存儲的特點，造成了目標數據中心中，同一列族名的數據塊存儲分散、不連續等問題，從而導致讀取速度較慢。

發明內容

為了解決上述技術問題，本發明提出了一種數據中心的備份方法和裝置，能夠充分利用列族存儲的特點，使得備份到目的數據中心的同一列族名的數據塊存儲更加集中，從而提高讀取速度。

為了達到上述目的，本發明提出了一種實現數據中心備份的方法，包括：

根據待備份的數據塊所在表名和列族名，確定該數據塊在目標數據中心中的存儲范圍；

在確定的存儲范圍中選取一個數據節點存儲數據塊。

優選地，所述根據需要進行備份的數據塊所在表名和列族名，確定該數據塊在目標數據中心中的存儲范圍包括：

根據所述表名確定所述數據塊存儲的數據節點所在機架的范圍；

根據所述列族名確定所述數據節點的物理地址范圍；

所述從存儲范圍中選取其中一個數據節點存儲數據塊包括：

從所述機架的范圍中選擇一個機架，從所述物理地址范圍中選擇一個物理地址。

優選地，所述根據所述表名確定所述數據塊存儲的數據節點所在機架的范圍包括：

計算所述表名的哈希值，并分別計算目標數據中心中所有機架的哈希值；

確定所述機架的哈希值的范圍為：所述機架的哈希值與所述表名的哈希值之間的差值的絕對值小于或等于目標數據中心中所有機架的哈希值的最大值的預設比例；

其中，原數據中心中所有表名的哈希值的最大值與目標數據中心中所有機架的哈希值的最大值相等。

優選地，所述從存儲范圍中選取其中一個數據節點存儲數據塊包括：

從所述機架的范圍中隨機選擇一個機架，或者選擇與所述表名的哈希值的差值的絕對值最小的哈希值對應的機架。

優選地，所述根據所述列族名確定所述數據節點的物理地址范圍包括：

計算所述列族名的哈希值，并分別計算所選擇的機架中所有數據節點的物理地址的哈希值；

確定所述物理地址的哈希值的范圍為：所述物理地址的哈希值與所述列族名的哈希值之間的差值的絕對值小于或等于所選擇的機架中所有數據節點的物理地址的哈希值的最大值的預設比例；其中，所述表名對應的表中所有列族名的哈希值的最大值與所選擇的機架中所有數據節點的物理地址的哈希值的最大值相等。

優選地，所述從存儲范圍中選取其中一個數據節點存儲數據塊包括：

從所述物理地址范圍中隨機選擇一個物理地址對應的數據節點，或者選擇與所述列族名的哈希值的差值的絕對值最小的哈希值對應的物理地址對應的數據節點。

優選地，所述最大值為2π。

本發明還提出了一種實現數據中心備份的裝置，至少包括：

確定模塊，用于根據待備份的數據塊所在表名和列族名，確定該數據塊在目標數據中心中的存儲范圍；

選擇模塊，用于在確定的存儲范圍中選取一個數據節點存儲數據塊。

優選地，所述確定模塊，具體用于：

根據所述表名確定所述數據塊存儲的數據節點所在機架的范圍；根據所述列族名確定所述數據節點的物理地址范圍；

所述選擇模塊，具體用于：