[發明專利]一種基于HFile的HBase二級索引更新方法及系統有效
| 申請號： | 201510813149.6 | 申請日： | 2015-11-20 |
| 公開（公告）號： | CN105404676B | 公開（公告）日： | 2018-08-31 |
| 發明（設計）人： | 程學旗;陳芳蓉;張敬亮 | 申請（專利權）人： | 中國科學院計算技術研究所 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京律誠同業知識產權代理有限公司 11006 | 代理人： | 祁建國;田景宜 |
| 地址： | 100190 北*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 二級索引 解析 源表數據 更新 時間點 延遲 數據庫刷新 目標索引 索引更新 索引數據 文件存儲 影響用戶 用戶操作 用戶數據 解耦 源表 源碼 監視 維護 | ||
1.一種基于HFile的HBase二級索引更新方法，其特征在于，該方法包括：
解析步驟，監視HBase數據庫刷新HFile文件的過程，當針對目標索引列產生了用戶操作并生成有HFile文件時，解析該HFile文件并據以更新二級索引表；
延遲步驟，在到達HFile文件的compaction操作的啟動時間點時，判斷該compaction操作所對應的HFile文件是否已經執行該解析該HFile文件的步驟，如果否，延遲該compaction操作的啟動時間點，如果是，執行該compaction操作；
其中compaction操作是指對HFile文件中針對同一行同一列但時間戳不同的數據進行融合；二級索引表中內容為HBase中源數據表的二級索引信息,通過索引搜索功能在二級索引表中得到對應的HBase主鍵信息，進而定位到目標數據行。
2.如權利要求1所述的方法，其特征在于，還包括：針對已解析的HFile文件，在其元信息中增加已解析標志位。
3.如權利要求1所述的方法，其特征在于，該目標索引列是根據該HBase源數據表中的索引元數據信息而確定。
4.如權利要求1所述的方法，其特征在于，該解析該HFile文件并據以更新二級索引表的步驟進一步包括：
讀取該HFile文件的KV對作為更新信息，調用一索引引擎并利用該更新信息更新該二級索引表。
5.如權利要求1所述的方法，其特征在于，重復執行該延遲步驟，直到不再產生該HFile文件。
6.一種基于HFile的HBase二級索引更新系統，其特征在于，該系統包括：
解析單元，用于監視HBase數據庫刷新HFile文件的過程，當針對目標索引列產生了用戶操作并生成有HFile文件時，解析該HFile文件并據以更新二級索引表；
延遲單元，在到達HFile文件的compaction操作的啟動時間點時，判斷該compaction操作所對應的HFile文件是否已經執行該解析該HFile文件的步驟，如果否，延遲該compaction操作的啟動時間點，如果是，執行該compaction操作；
其中compaction操作是指對HFile文件中針對同一行同一列但時間戳不同的數據進行融合；二級索引表中內容為HBase中源數據表的二級索引信息,通過索引搜索功能在二級索引表中得到對應的HBase主鍵信息，進而定位到目標數據行。
7.如權利要求6所述的系統，其特征在于，該系統還包括標志位增加模塊，用于針對已解析的HFile文件，在其元信息中增加已解析標志位。
8.如權利要求6所述的系統，其特征在于，該目標索引列是根據該HBase源數據表中的索引元數據信息而確定。
9.如權利要求6所述的系統，其特征在于，該解析單元進一步包括更新模塊，用于讀取該HFile文件的KV對作為更新信息，調用一索引引擎并利用該更新信息更新該二級索引表。
10.如權利要求6所述的系統，其特征在于，該系統還包括循環模塊，用于重復調用該延遲單元，直到不再產生該HFile文件。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院計算技術研究所，未經中國科學院計算技術研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201510813149.6/1.html，轉載請聲明來源鉆瓜專利網。
