[發明專利]一種避免Hbase數據熱點的方法及系統

有效

• 申請號: 201610024940.3
• 申請日: 2016-01-14
• 公開（公告）號: CN105681414B
• 公開（公告）日: 2019-01-01
• 發明（設計）人: 雷果;葉春生;車新奕;程濤木;王敏;劉軍徽
• 申請（專利權）人: 深圳市博瑞得科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 王利彬

本發明適用于數據存儲，提供了一種避免Hbase數據熱點的方法，步驟包括：A，讀取待存儲數據，根據需要選取字段內容作為初始主鍵，然后用散列算法對初始主鍵進行處理得到主鍵值，對主鍵值進行均勻分段得到若干主鍵段；B，根據若干主鍵段確定用于分配主鍵段的若干區域，然后將若干主鍵段均勻分配至若干區域中；C，將得到的若干區域均勻分配至每一區域服務器中。本發明將Hbase的整個存儲模式綜合考慮，不僅僅要考慮Region的數量，更需要綜合考慮Region的大小，相比現有的其他基于Hbase的避免熱點的方法，本發明效果更為顯著，對于Hbase的使用性能提升較大，大大提升了Hbase對大數據的處理存儲能力，從根本上避免了Hbase數據熱點的問題。

技術領域

本發明屬于數據存儲領域，尤其涉及一種新型的避免Hbase數據熱點的方法及系統。

背景技術

隨著云時代的來臨，大數據(Big data)也吸引了越來越多的關注。大數據時代網民和消費者的界限正在消弭，企業的疆界變得模糊，數據成為核心的資產，并將深刻影響企業的業務模式，甚至重構其文化和組織。因此，大數據對國家治理模式、對企業的決策、組織和業務流程、對個人生活方式都將產生巨大的影響。如何利用大數據更加貼近消費者、深刻理解需求、高效分析信息并作出預判，是決定我們能否有效利用大數據這座“金礦”的重要基礎。然而面對這種海量數據、高并發訪問的情況，數據庫能提供穩定、可靠的性能則是至關重要的。但傳統的數據庫的處理能力以及處理效率已經遠遠不能滿足這種大數據的處理需求。

在這種技術背景下，面向大數據分析分布式的數據庫應運而生。Hbase是Hadoop上的一個NoSQL數據庫的實現，同時也是一個分布式的、面向列的開源數據庫。它提供了強大的可擴展性和數據操作性能。

在Hbase中，僅能通過主鍵(rowkey)和主鍵的range(范圍)來檢索數據，僅支持單行事務，主要用來存儲非結構化和半結構化的松散數據。

Hbase的數據存儲模式如下：

1、Table(表)中的所有行都按照rowkey的字典序排列。

2、Table在行的方向上將rowkey分割為多段，每個Region(區域)即承載多段rowkey數據。

3、Region按大小分割的，每個表一開始只有一個Region，隨著數據不斷插入表，Region不斷增大，當增大到一個閥值的時候，Region就會等分為兩個新的Region。當table中的行不斷增多，就會有越來越多的Region。

4、Region是Hbase中分布式存儲和負載均衡的最小單元。最小單元就表示不同的Region可以分布在不同的Region Server(區域服務器)上。但同一個Region是不會拆分到多個server(服務器)上的。在Hbase中由Master(主機)負責分配Region到各個不同的Region Server上，Region Server負責存儲實際的數據。但如果Region Server上的負載不均衡或者每個Region Server中的服務請求數量不均衡,這些都將影響HBase的服務性能。

因此，如何避免Hbase數據熱點策略不僅僅與Region Server的負載均衡有關，還與rowkey合理分段有關。