[發明專利]一種基于HBase的電網設備狀態監測數據存儲和查詢方法及系統

在審

• 申請號: 201510274013.2
• 申請日: 2015-05-26
• 公開（公告）號: CN104850640A
• 公開（公告）日: 2015-08-19
• 發明（設計）人: 宋亞奇;朱永利;李莉
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 無錫睿文利通知識產權代理有限公司 32261
• 代理人: 韋宇昕

技術領域

本發明屬于電力系統網絡化監控及信息處理技術領域，尤其 涉及一種基于HBase的電網設備狀態監測數據存儲和查詢方法及 系統。

背景技術

現代電網要求可靠、安全、經濟、高效運行，這需要對組成 電網的主要設備的健康狀況進行在線監測、數據搜集和評估。監 測數據以“數據點”(單個設備的一個屬性)為單位，描述一項 數據指標，形成時間序列數據。由于電網設備數量大，采樣率 高，監測數據規模呈現海量。現有電網設備狀態監測主站系統普 遍采用企業級關系數據庫進行數據的集中存儲。由于關系型數據 庫以及所采用的按行存儲模式主要被設計為支持數據記錄和事務 處理(OLTP)，能夠進行多條件的查詢，但支持的數據量規模 小，不能滿足電網狀態監測數據的海量存儲需求；另外，當存儲 的數據量較大時，數據裝載以及查詢時性能下降明顯，不能很好 的適應狀態監測大數據的準實時處理應用需求。目前，只有少量 的監測數據上傳到主站系統，大量可能隱含重大價值的數據被丟 棄，造成數據的極大浪費。

另外，狀態監測數據也可以直接以文本文件的形式存儲，并 保存到磁盤陣列中，這種方式只適合對數據進行存儲備份，查詢 功能只能在應用軟件層上實現，實現復雜、功能不穩定，系統代 價大，更不易實現多條件復雜查詢。

Hadoop云計算平臺具備可靠性高、數據存儲量大、數據并行 處理等優勢，目前成為信息技術領域的研究熱點。廣泛應用于生 物信息處理、搜索引擎、文本分類等領域。Hadoop提供了一個分 布式的數據庫系統HBase，是建立在HDFS之上，提供高可靠性、 高性能、列存儲、可伸縮、實時讀寫的數據庫系統，這為實現海 量電網設備狀態監測數據的存儲和快速查詢提供了新的技術支 持。但是HBase介于nosql和RDBMS之間，僅能通過主鍵(row? key)和主鍵的range來檢索數據，僅支持單行事務。用戶在使用 電網設備狀態監測系統時，通常需要利用多個條件對監測數據進 行綜合查詢。因此要應用HBase進行電網設備狀態監測數據的存 儲，需要對其邏輯存儲模式進行有效的設計。

電網設備狀態監測數據的格式可描述如下表一：

表一

狀態監測數據的查詢條件包括：1)按照設備類型和設備 編號查詢；2)按照采集時間查詢；3)同時按照設備類型、設備 編號和采集時間進行查詢。HBase按照rowkey字典序來存放數 據，并提供了3種訪問數據的方式：1)根據單個rowkey調用 get接口訪問；2)根據rowkey范圍調用scan接口訪問；3) 全表掃描。由于HBase的上述訪問接口遠不及關系數據庫提供 的SQL語言的功能，為支持上述查詢需求，需要設計狀態監測 數據在HBase中有效的邏輯存儲模式和查詢方法。

發明內容

本發明針對輸變電設備狀態監測系統中的查詢需求，基于 HBase提出了一種新的電網設備狀態監測數據存儲和查詢方法， 以支持海量狀態監測數據的可靠存儲和快速的多條件查詢。

為了實現上述目的，本發明提出的基于HBase的電網設備狀 態監測數據存儲和查詢方法，其特征在于，包括：匯聚節點收集 狀態監測數據，并上傳至HDFS主控節點；HDFS主控節點把接收 到的狀態監測數據合并生成大文件，并上傳到HDFS；MapReduce 模塊讀取上傳到HDFS中的數據，并根據讀取的數據生成 rowkey，根據rowkey構建HBase表；設置查詢條件，HBase根據 所述查詢條件和rowkey進行查詢。

一種實施上述方法的系統，其特征在于，包括匯聚節點、 HDFS主控節點、HDFS、HBase和查詢客戶端，匯聚節點收集狀態 監測數據，并上傳至HDFS主控節點，HDFS主控節點把接收到的 狀態監測數據合并生成大文件，并上傳到HDFS，HDFS中的 MapReduce模塊讀取上傳到HDFS中的數據，并根據讀取的數據生 成rowkey，根據rowkey構建HBase表，查詢客戶端用于設置查 詢條件和接收查詢結果，HBase根據所述查詢條件和rowkey進行 查詢。

本發明將電網設備狀態監測數據與HBase、HDFS相結合，構 建了基于HBase的電網設備狀態監測數據存儲和查詢方法及系 統，支持海量數據的可靠存儲和快速查詢，通過對rowkey的優 化設計，實現多條件快速查詢。