[發明專利]基于HBase的高效存儲方法及系統

有效

• 申請號: 201410188339.9
• 申請日: 2014-05-06
• 公開（公告）號: CN104008134B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 向智宇;郝俊瑞;高漢松;郭嘉;許德瑋;王靜
• 申請（專利權）人: 武漢郵電科學研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京捷誠信通專利事務所(普通合伙)11221
• 代理人: 魏殿紳,龐炳良

1.一種基于HBase的高效存儲方法，其特征在于，包括以下步驟：

步驟101、輸入一行待存儲到目標表的用戶數據；

步驟102、判斷內存中是否有目標表的字節組合編碼的初始化信息，如果沒有，則轉到步驟103；如果有，則轉到步驟104；

步驟103、訪問元數據庫，對目標表的字節組合編碼進行初始化，并將初始化信息寫入內存中，返回步驟102；

步驟104、根據內存中目標表行鍵字節組合編碼的初始化信息，從待存用戶數據中解析出主鍵列值作為字節組合編碼對象，逐一進行字節編碼并組合，形成1個字節序列，作為鍵值對存儲格式的行鍵值，轉到步驟105；

步驟105、根據內存中目標表值字段字節組合編碼的初始化信息，從待存用戶數據中解析出非主鍵列值作為字節組合編碼對象，逐一進行字節編碼并組合，形成1個字節序列，作為鍵值對存儲格式的值字段內容，轉到步驟106；

步驟106、存儲HBase：將步驟104得到的行鍵值字節序列和步驟105得到的值字段字節序列，組裝成鍵值對，并調用HBase客戶端應用編程接口的數據插入方式完成HBase寫入。

2.如權利要求1所述的基于HBase的高效存儲方法，其特征在于：步驟106之后，還包括以下查詢HBase數據的步驟：

步驟201、輸入對目標表的查詢請求；

步驟202、判斷內存中是否有目標表的字節組合編碼的初始化信息，如果沒有，則轉到步驟203；如果有，則轉到步驟204；

步驟203、訪問元數據庫，對目標表的字節組合編碼進行初始化，并將初始化信息寫入內存中，返回步驟202；

步驟204、根據內存中目標表的初始化信息逐一對屬于查詢請求范圍中的主鍵進行字節組合編碼，得到結果集對應HBase中的行健范圍；

步驟205、根據步驟204的行健范圍掃描HBase，得到結果集對應HBase中的值范圍，轉到步驟206；

步驟206、結合步驟205的結果集對應HBase中的值范圍，根據值字段字節組合編碼方式及其對象指示器進行反編碼，得到此次查詢請求結果，轉到步驟207；

步驟207、返回查詢結果。

3.如權利要求1或2所述的基于HBase的高效存儲方法，其特征在于：所述初始化信息包括目標表的列名列表、列數據類型列表、主鍵列列表、行鍵字節組合編碼方式及其對象指示器、值字段字節組合編碼方式及其對象指示器。

4.一種基于HBase的高效存儲系統，其特征在于：所述系統包括HBase寫入裝置，所述HBase寫入裝置包括第一輸入單元、第一初始化單元、主鍵列字節組合編碼單元、非主鍵列字節組合編碼單元、HBase寫入單元，其中：

所述第一輸入單元，用于：輸入一行待存儲到目標表的用戶數據；

所述第一初始化單元，用于：判斷內存中是否有目標表的字節組合編碼的初始化信息，如果沒有初始化信息，則訪問元數據庫，對目標表的字節組合編碼進行初始化，并將初始化信息寫入內存中；如果有初始化信息，則生成主鍵列字節組合編碼觸發信號，并發送至主鍵列字節組合編碼單元；

所述主鍵列字節組合編碼單元，用于：根據內存中目標表行鍵字節組合編碼的初始化信息，從待存用戶數據中解析出主鍵列值作為字節組合編碼對象，逐一進行字節編碼并組合，形成1個字節序列，作為鍵值對存儲格式的行鍵值，生成非主鍵列字節組合編碼觸發信號，并發送至非主鍵列字節組合編碼單元；

所述非主鍵列字節組合編碼單元，用于：根據內存中目標表值字段字節組合編碼的初始化信息，從待存用戶數據中解析出非主鍵列值作為字節組合編碼對象，逐一進行字節編碼并組合，形成1個字節序列，作為鍵值對存儲格式的值字段內容；

所述HBase寫入單元，用于：將主鍵列字節編碼單元得到的行鍵值字節序列和非主鍵列字節編碼單元得到的值字段字節序列，組裝成鍵值對，并調用HBase客戶端應用編程接口的數據插入方式完成HBase寫入。