[發明專利]一種避免Hbase數據熱點的方法及系統有效
| 申請號： | 201610024940.3 | 申請日： | 2016-01-14 |
| 公開（公告）號： | CN105681414B | 公開（公告）日： | 2019-01-01 |
| 發明（設計）人： | 雷果;葉春生;車新奕;程濤木;王敏;劉軍徽 | 申請（專利權）人： | 深圳市博瑞得科技有限公司 |
| 主分類號： | H04L29/08 | 分類號： | H04L29/08 |
| 代理公司： | 深圳市恒申知識產權事務所(普通合伙) 44312 | 代理人： | 王利彬 |
| 地址： | 518057 廣東省深圳市南山區高新*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 避免 hbase 數據 熱點 方法 系統 | ||
1.一種避免Hbase數據熱點的方法，其特征在于，所述方法包括以下步驟：
步驟A，讀取待存儲數據，根據需要從待存儲數據中選取字段內容作為初始主鍵，然后用散列算法對所述初始主鍵進行處理得到主鍵值，對所述主鍵值進行均勻分段得到若干主鍵段；
步驟B，根據所述若干主鍵段確定用于分配所述主鍵段的若干區域，然后將所述若干主鍵段均勻分配至所述若干區域中，用于存儲數據的區域的總量能被主鍵段的總量整除；
步驟C，將得到的所述若干區域均勻分配至每一區域服務器中。
2.如權利要求1所述的方法，其特征在于，進行步驟A之前，還包括根據區域服務器的負載量獲取待存儲數據。
3.如權利要求1所述的方法，其特征在于，在步驟B中，根據服務器的運算能力，設置每一區域上的存儲數據量。
4.如權利要求1所述的方法，其特征在于，在步驟B中，所述主鍵段的總數為所述區域的總數的整數倍。
5.如權利要求4所述的方法，其特征在于，所述主鍵段的總數為所述區域的總數的5倍。
6.一種避免Hbase數據熱點的系統，其特征在于，所述系統包括：
主鍵段生成單元，用于讀取待存儲數據，根據需要從待存儲數據中選取字段內容作為初始主鍵，然后用散列算法對所述初始主鍵進行處理得到主鍵值，對所述主鍵值進行均勻分段得到若干主鍵段；
區域確定單元，用于根據所述若干主鍵段確定用于分配所述主鍵段的若干區域，然后將所述若干主鍵段均勻分配至所述若干區域中，用于存儲數據的區域的總量能被主鍵段的總量整除；
區域分配單元，用于將得到的所述若干區域均勻分配至每一區域服務器中。
7.如權利要求6所述的系統，其特征在于，所述主鍵段生成單元還用于還包括根據區域服務器的負載量獲取待存儲數據。
8.如權利要求6所述的系統，其特征在于，所述區域確定單元根據服務器的運算能力，設置每一區域上的存儲數據量。
9.如權利要求6所述的系統，其特征在于，所述主鍵段的總數為所述區域的總數的整數倍。
10.如權利要求9所述的系統，其特征在于，所述主鍵段的總數為所述區域的總數的5倍。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市博瑞得科技有限公司，未經深圳市博瑞得科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201610024940.3/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
