[發明專利]一種基于HBase的海量能耗數據存儲系統

在審

• 申請號: 201910328675.1
• 申請日: 2019-04-23
• 公開（公告）號: CN110109925A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 胡翔
• 申請（專利權）人: 安徽云融信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/27
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

1.一種基于HBase的海量能耗數據存儲系統，其特征在于：包括源數據層、數據預處理層、數據存儲層、數據查詢層；

所述原始數據文件存儲層主要實現原始數據文件的高效存儲及備份；所述數據預處理層主要實現數據的并行加載以及數據的預處理；所述數據存儲層主要實現滿足各種數據查詢、分析的高效的數據存儲機制；所述數據查詢層主要實現數據統一查詢接口，并為數據挖掘等數據的深度挖掘提供基礎支持。

2.根據權利要求1所述的一種基于HBase的海量能耗數據存儲系統，其特征在于：該架構中通過使用HDFS存儲海量原始數據文件，通過MapReduce預處理這些海量原始數據，用HBase分布式數據庫存儲經過預處理的能耗數據；通過HBase提供的數據查詢接口實現數據的查詢統計分析，并通過HBase對MapReduce的支持為數據挖掘提供數據支持。

3.根據權利要求1所述的一種基于HBase的海量能耗數據存儲系統，其特征在于：所述原始數據文件存儲層的系統實現中：數據中心通過數據采集設備將采集的原始數據以文件形式存儲，并通過HDFS提供的文件操作接口將數據文件存儲在HDFS中；

根據原始數據文件的來源將來自不同數據中心的數據分別存儲在不同的文件夾中，將數據進行預處理并存儲到HBase，對各數據中心的數據文件根據文件的時間順序對文件進行合并、存檔、壓縮，以提高HDFS的存儲性能；HDFS文件操作接口由DistirbutedFileSystem類提供，可實現文件讀取、文件寫入、文件創建、文件追加數據等操作，提供使用HDFS文件存檔在減少namenode內存使用的同時，還能允許對文件進行透明的訪問，HDFS存檔文件可以用作MapReduce的輸入。

4.根據權利要求1所述的一種基于HBase的海量能耗數據存儲系統，其特征在于：所述數據預處理層的系統實現中：數據預處理操作主要包括異常數據的清洗、數據的格式轉換、數據的簡單統計操作。

5.根據權利要求1所述的一種基于HBase的海量能耗數據存儲系統，其特征在于：所述數據查詢層的系統實現中：基于HBase的數據查詢，主要包括兩種方式按指定RowKey獲取唯一一條記錄使用Get方法：按指定的條件獲取一批記錄使用Scan方法，通過HBase過濾器與Get、Scan操作配合使用，可以實現分頁等高級查詢，此外HBase還提供了協處理器以滿足復雜的查詢需求。

6.根據權利要求1所述的一種基于HBase的海量能耗數據存儲系統，其特征在于：所述HBase數據存儲模型的系統實現中：數據中心歷史數據主要包括服務器系統日志數據、數據中心各類傳感器數據兩類；其中服務器系統日志數據主要包括數據中心服務器的操作系統、應用程序、網絡設備的實時狀態信息等數據；數據中心傳感器數據主要包括數據中心室內外溫濕度傳感器采集的實時數據，數據中心服務器、制冷設備、照明設備等實時耗電量數據及其他傳感器設備采集的數據。