[發明專利]一種HBase中的數據存儲方法

在審

• 申請號: 201610070938.X
• 申請日: 2016-02-02
• 公開（公告）號: CN105740442A
• 公開（公告）日: 2016-07-06
• 發明（設計）人: 周灝;于博
• 申請（專利權）人: 北京量科邦信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

技術領域

本發明屬于大數據分布式存儲技術領域，特別涉及一種HBase中的數據存儲方法。

背景技術

伴隨著移動互聯網時代的到來，人類產生的數據量迎來爆炸式增長。如何更有效率地存儲并讀取處理這些海量數據，給我們提出了巨大的技術挑戰，成為數據研發人員需要考慮的首要問題。

HBase是基于HDFS(HadoopDistributedFileSystem)的分布式存儲系統，它非常適合于海量非結構化數據的存儲，它是由多臺服務器構成的一個集群，使用者可以把HBase當作一個巨大的key-value數據庫，輸入key值便可獲取對應的value。

當前一個普遍存在的需求是根據用戶的某一屬性字段，比如淘寶賬號，獲取該賬號對應的購物記錄。針對這個需求，現在的通用解決方案是把淘寶賬號作為key，該淘寶賬號對應的購物記錄作為value保存在HBase中。

經過統計分析發現，淘寶賬號可以分成電話號碼、郵箱賬號、用戶自定義的字符串這幾種類型。我們知道，手機號碼的前三位只存在幾個不同的號段，而HBase在存儲數據的時候是根據行健RowKey的排序來確定該數據存放在集群服務器上的位置。所以，如果直接用淘寶賬號來作為RowKey，會導致所有以手機號碼作為淘寶賬戶的網民的數據大量的堆積在HBase集群中的某臺或者某幾臺服務器上，這樣一來，我們從HBase集群中讀取數據并進行處理的時候，集群中實際只有少數幾臺服務器參與運算，從而成為熱點，使得集群性能大幅下滑，嚴重的時候甚至會引起集群故障。

可見，當采用用戶的某一屬性字段作為RowKey在分布式集群系統進行存儲時，如果該屬性字段存在大量相似字符串，就會造成數據存儲過于集中的問題，而如何解決所述問題，合理且有效的分散存儲海量數據，是技術人員需要著重考慮的問題。

發明內容

本發明所要解決的技術問題是提供一種HBase中的數據存儲方法，合理且有效的分散存儲海量數據。

為了解決上述技術問題，本發明提供了一種HBase中的數據存儲方法，包括：

獲得待處理數據中滿足預設條件的屬性字符串；

對所述屬性字符串進行第一變形處理，獲得第一變形字符串；

對所述屬性字符串進行第二變形處理，獲得第二變形字符串；

將所述第一變形字符串與所述第二變形字符串一起再次進行處理，得到最終要使用的結果字符串，將所述結果字符串作為HBase集群中存儲的數據的RowKey，對數據進行存儲。

優選的，

所述第一變形處理為取該屬性字符串的MD5值，并獲取該值的前五位字符；或者取該字符串的crc校驗碼。

優選的，

所述第二變形處理為將該屬性字符串反轉；或者將該字符串中偶數位置的字母與奇數位置的字母互換。

優選的，將所述第一變形字符串與所述第二變形字符串一起再次進行處理，包括：

將所述第一變形字符串與所述第二變形字符串進行拼接；或者將兩個字符串交叉合并。

優選的，

所述屬性字符串為用戶賬戶，或者用戶賬戶字符串的后面追加一個代表用戶所在地區的符號串。

優選的，所述屬性字符串通過數據清洗獲得，去除所述屬性字符串前后兩端的空格和回車換行符。

本發明提供的HBase集群中的數據存儲方法，通過表的RowKey設計處理，非常有效且合理的解決了HBase集群數據存儲熱點問題。從而使數據盡可能均勻地分布到HBase集群中的所有服務器中，使得集群的性能得到充分的利用和發揮，使得數據處理速度和能力，可以與集群計算節點呈線性的正比增長關系。本發明除了可以解決文中提到的需求之外，還具有相當的通用性。本發明解決了合理且有效的分散存儲海量數據這一技術難題，有效地解決了線上生產環境中的數據的讀寫熱點問題。

附圖說明

圖1為本發明實施例中一種HBase中的數據存儲方法流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。