[發明專利]一種基于HBase的實時動態數據管理系統在審
| 申請號： | 201811385057.2 | 申請日： | 2018-11-20 |
| 公開（公告）號： | CN109582643A | 公開（公告）日： | 2019-04-05 |
| 發明（設計）人： | 張衛山;任鵬程;房凱 | 申請（專利權）人： | 中國石油大學（華東） |
| 主分類號： | G06F16/13 | 分類號： | G06F16/13;G06F16/182;G06F16/2453;G06F16/2455 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 266580 山*** | 國省代碼： | 山東;37 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據管理系統 實時動態 復合索引 海量存儲 查詢 寫入 一致性哈希算法 讀取 數據存儲機制 多線程技術 緩沖區結構 結構化數據 并行存儲 并行機制 查詢優化 存儲模型 讀取性能 海量數據 環境需求 緩存數據 結構數據 索引緩存 優化設計 表結構 持久化 高動態 實時性 索引表 映射 多線 多源 行鍵 隊列 并發 并行 存儲 緩解 優化 管理 | ||
1.一種基于HBase的實時動態數據管理系統，其特征在于，數據存儲按邏輯劃分，分為以文件形式和以HBase表結構形式存儲。前者主要針對于結構化的文件；非結構化的數據使用HBase表存儲。文件形式的存儲包括索引文件和小文件的存儲；HBase存儲包括高維特征的存儲、正排文件存儲和緩存數據的存儲。索引文件用Lucene對其文本數據建立倒排；正排文件，采用HBase表結構來存儲，并存儲器TD/IDF值；小文件基于二進制序列化數據流合并為一個大文件。
2.如權利1要求所述的基于HBase的實時動態數據管理系統，其特征在于，復合索引存儲模型分為兩部分：第一部分是基于磁盤的數據存儲，使用分布式順序索引存儲模型，實現索引緩存的存儲、更新以及地址映射；第二部分是基于內存的索引緩存，利用內存隨機訪問迅速的特性存儲訪問頻繁的索引數據，使用分布式哈希存儲模型，構建索引表以及索引范圍表。
3.如權利1要求所述的基于HBase的實時動態數據管理系統，其特征在于，利用多源緩沖區結構對不同類型的流數據進行隊列劃分，并結合一致性哈希算法、多線程技術、行鍵優化設計等策略將數據并行存儲到HBase集群服務器中。
4.如權利1要求所述的基于HBase的實時動態數據管理系統，其特征在于，HBase并行查詢分為四個方面：I/O并行，多查詢并行，操作節點并行以及用戶并行。并且利用JAVA多線程技術，實現實時流數據多查詢并行。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國石油大學（華東），未經中國石油大學（華東）許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811385057.2/1.html，轉載請聲明來源鉆瓜專利網。
