[發明專利]一種基于Spark內存技術對HBase數據庫加速讀寫的方法在審
| 申請號： | 201811093336.1 | 申請日： | 2018-09-19 |
| 公開（公告）號： | CN109271365A | 公開（公告）日： | 2019-01-25 |
| 發明（設計）人： | 王文文;路國隋;梁志勇;牛碩 | 申請（專利權）人： | 浪潮軟件股份有限公司 |
| 主分類號： | G06F16/182 | 分類號： | G06F16/182;G06F16/248 |
| 代理公司： | 濟南信達專利事務所有限公司 37100 | 代理人： | 劉繼枝 |
| 地址： | 250101 山東*** | 國省代碼： | 山東;37 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據庫 內存技術 內存計算 讀寫 并發 查找操作 產品研發 高效存儲 海量數據 集群計算 計算單元 實時查詢 性能提升 大數據 低延時 調用 集群 內存 刪除 架構 入庫 場景 查詢 改進 改造 | ||
1.一種基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，對Hbase數據庫進行改進，將數據的計算單元由Hbase轉到Spark內存計算，數據的高效存儲使用Hbaseon HDFS架構，調用相應的API進行增加、刪除、修改、查找操作，利用內存計算的優勢實現大規模列式數據庫在高并發、低延時場景的實時查詢要求。
2.根據權利要求1所述的基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，所述的調用相應的API進行增加、刪除、修改、查找操作，包括，采用Scala或Java語言調用相應的API進行操作。
3.根據權利要求1所述的基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，該方法操作具體步驟如下：
步驟1）配置Hbase相應Jar包文件依賴，確保Hbase方法可被Spark正常獲取；
步驟2）使用HBase Shell創建表，create ' access_log ','info'；
步驟3）啟動Spark Shell，執行bin/spark-shell –master yarn –deploy-modeclient –num-executors 5 –executor-memory 500m –executor-cores 2；
步驟4）配置文件修改，Spark應用需要連接到zookeeper集群，然后借助zookeeper訪問Hbase集群；
步驟5）Bulk load數據寫入Hbase，將45M大小的 access_log.log 文件導入到Hbase中，用時7秒。
4.根據權利要求3所述的基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，所述的步驟1）中，配置Hbase相應Jar包文件依賴，是基于Spark1.0及以上版本。
5.根據權利要求3所述的基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，所述的步驟4）中，借助zookeeper訪問Hbase集群，包括：將hbase-site.xml文件加入classpath。
6.根據權利要求3所述的基于Spark內存技術對HBase數據庫加速讀寫的方法，其特征在于，所述的步驟4）中，借助zookeeper訪問Hbase集群，包括：在HBaseConfiguration實例中設置。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浪潮軟件股份有限公司，未經浪潮軟件股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811093336.1/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：存儲方法及裝置
- 下一篇：一種基于人力資源管理系統的數據處理系統
