[發明專利]一種基于HBase的海量能耗數據存儲系統

在審

• 申請號: 201910328675.1
• 申請日: 2019-04-23
• 公開（公告）號: CN110109925A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 胡翔
• 申請（專利權）人: 安徽云融信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/27
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

本發明公開了一種基于HBase的海量能耗數據存儲系統，涉及大數據技術領域。本發明包括源數據層、數據預處理層、數據存儲層、數據查詢層，原始數據文件存儲層主要實現原始數據文件的高效存儲及備份；數據預處理層主要實現數據的并行加載以及數據的預處理；數據存儲層主要實現滿足各種數據查詢、分析的高效的數據存儲機制；數據查詢層主要實現數據統一查詢接口。本發明通過針對數據中心海量能耗數據的存儲問題，提出了一種基于HBase的大規模分布式數據存儲架構，使用分布式數據庫HBase實現了數據中心海量能耗數據的存儲系統，該系統具有良好的可用性、可擴展性及存儲查詢效率。

技術領域

本發明屬于大數據技術領域，特別是涉及一種基于HBase的海量能耗數據存儲系統。

背景技術

數據中心作為行業信息化的重要載體，提供信息數據存儲和信息系統運行平臺支撐，是推進新一代信息技術產業發展的關鍵資源，信息化產業的發展將極大地促進數據中心的市場需求，隨著數據中心的不斷增加，對數據中心基礎設施提出了嚴峻的能耗課題，數據中心產生的能源消耗、服務器系統日志等海量歷史數據在構建綠色數據中心、節約能源消耗等方面具有重要的研究價值，傳統的數據存儲解決方案主要使用關系型數據庫實現海量數據的存儲，如MySQL、Oracle等傳統關系型數據庫在數據存儲方面得到了廣泛的應用；

傳統關系型數據庫基于關系和對象模型，對復雜數據存儲有較高的表現力，但是關系型數據庫無法很好的滿足海量數據存儲對可擴展性的要求，HBase是一種構建在HDFS之上的分布式、面向列的數據存儲系統，適用于存儲需要實時讀寫、隨機訪問的大規模數據，數據中心產生的能耗數據具備數據量大、結構單一、基于時間序列等特點，因此非常適合使用HBase儲存，因此，針對以上問題提供一種基于HBase的海量能耗數據存儲系統具有重要的意義。

發明內容

本發明的目的在于提供一種基于HBase的海量能耗數據存儲系統，針對數據中心海量時間序列化能耗數據的儲存分析問題，提出了一種基于HBase的大規模分布式數據存儲架構，使用分布式數據庫HBase實現了數據中心海量能耗數據的存儲系統。

為解決上述技術問題，本發明是通過以下技術方案實現的：本發明為一種基于HBase的海量能耗數據存儲系統，包括源數據層、數據預處理層、數據存儲層、數據查詢層；

所述原始數據文件存儲層主要實現原始數據文件的高效存儲及備份；所述數據預處理層主要實現數據的并行加載以及數據的預處理；所述數據存儲層主要實現滿足各種數據查詢、分析的高效的數據存儲機制；所述數據查詢層主要實現數據統一查詢接口，并為數據挖掘等數據的深度挖掘提供基礎支持。

進一步地，該架構中通過使用HDFS存儲海量原始數據文件，通過MapReduce預處理這些海量原始數據，用HBase分布式數據庫存儲經過預處理的能耗數據；通過HBase提供的數據查詢接口實現數據的查詢統計分析，并通過HBase對MapReduce的支持為數據挖掘提供數據支持。

進一步地，所述原始數據文件存儲層的系統實現中：數據中心通過數據采集設備將采集的原始數據以文件形式存儲，并通過HDFS提供的文件操作接口將數據文件存儲在HDFS中；

根據原始數據文件的來源將來自不同數據中心的數據分別存儲在不同的文件夾中，將數據進行預處理并存儲到HBase，對各數據中心的數據文件根據文件的時間順序對文件進行合并、存檔、壓縮，以提高HDFS的存儲性能；HDFS文件操作接口由DistirbutedFileSystem類提供，可實現文件讀取、文件寫入、文件創建、文件追加數據等操作，提供使用HDFS文件存檔在減少namenode內存使用的同時，還能允許對文件進行透明的訪問，HDFS存檔文件可以用作MapReduce的輸入。

進一步地，所述數據預處理層的系統實現中：數據預處理操作主要包括異常數據的清洗、數據的格式轉換、數據的簡單統計操作。