[發明專利]基于HBase的電網運行數據存儲訪問方法及其系統

有效

• 申請號: 202010893676.3
• 申請日: 2020-08-31
• 公開（公告）號: CN112084303B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 盧耀華;王勝明;郭劍;徐泰山;薛峰;徐雄峰;查顯煜;謝丹丹;王雄飛;宋東闊
• 申請（專利權）人: 國電南瑞科技股份有限公司;南瑞集團有限公司;國網山東省電力公司;國家電網有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/28;G06F16/22;G06F16/332;G06Q50/06
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 錢玲玲

本發明公開了一種基于HBase的電網運行數據存儲訪問方法及其系統，旨在解決傳統電網運行數據存儲訪問效率低且難以適應數據結構變化的技術問題。其包括：根據電網歷史運行數據，生成數據結構描述信息；實時獲取待寫入電網運行數據，進行數據結構描述信息檢查和更新，并將待寫入電網運行數據進行序列化處理后存儲到HBase數據庫；根據數據查詢請求從HBase數據庫中讀取查詢數據，并將查詢數據進行反序列化處理后反饋到客戶端。本發明能夠適應電網運行數據的數據類型和數據結構變化，有效提升電網運行海量歷史數據的存儲訪問效率，實現電網運行數據的高效集中存儲。

技術領域

本發明涉及一種基于HBase的電網運行數據存儲訪問方法及其系統，屬于電力系統自動化數據處理技術領域。

背景技術

隨著電力系統的快速發展，尤其是特高壓大電網的建設，對電網的運行管理和電網運行數據的綜合運用的要求越來越高。然而，隨著規模擴充和積累時間的增加，電網運行歷史數據的數據量越來越大，依靠傳統方法，通過關系型數據庫(RDBMS)存儲電網運行歷史數據存在很多問題，包括：數據存儲量大，量級可達到TB或PB級，關系型數據庫處理困難；進行數據訪問時數據響應速度受到關系型數據庫對海量數據的訪問制約，讀取及寫入時間長，已經難以滿足數據訪問的性能需求，影響數據存儲以及處理效率；無法滿足數據結構隨時間不斷變化，存儲和訪問的擴展性差。目前電力系統領域急需一種新的數據存儲和查詢方法，來解決上述問題。

發明內容

針對傳統電網運行數據存儲訪問效率低且難以適應數據結構變化的問題，本發明提出了一種基于HBase的電網運行數據存儲訪問方法及其系統，解決了同類數據隨時間變化無法用固定結構定義的問題，實現電網運行歷史數據的高效存儲，提升了電網運行海量歷史數據的存儲訪問效率，滿足了對電網運歷史數據的存儲訪問應用需求。

為達到上述目的，本發明是采用下述技術方案實現的：

第一方面，本發明提供了一種基于HBase的電網運行數據存儲訪問方法，具體包括如下步驟：

根據接收到的數據查詢請求從預先構建的HBase數據庫中讀取查詢數據，并將查詢數據進行反序列化處理后反饋到客戶端。

結合第一方面，進一步的，所述HBase數據庫的構建方法包括如下步驟：

步驟A、根據電網歷史運行數據，生成數據結構描述信息；

步驟B、獲取待寫入電網運行數據，對步驟A中的數據結構描述信息進行檢查和更新，并對待寫入電網運行數據進行序列化處理后存儲到HBase數據庫。

結合第一方面，進一步的，所述數據結構描述信息包括數據類型描述表和數據屬性描述表，其中，所述數據類型描述表包括多條數據類型描述記錄，所述數據類型描述記錄包括下述中至少一種：數據類型編號；數據類型標識；數據類型描述；數據類型版本；

所述數據屬性描述表包括多條數據屬性描述記錄，所述數據屬性描述記錄包括下述中至少一種：數據屬性編號；所屬數據類型編號；數據屬性順序編號；數據屬性標識；基本數據類型；數據屬性長度；數據屬性缺省值；數據屬性描述。

結合第一方面，進一步的，步驟B的具體操作如下：

步驟B01、根據待寫入電網運行數據獲取待寫入數據類型標識model_id_in和待寫入數據屬性集合U_in；

步驟B02、從數據類型描述表中檢索出數據類型標識與model_id_in相同的數據類型描述記錄，構成數據類型描述集合model；

步驟B03、當model不為空時，從model中選取數據類型版本最大的數據類型描述記錄，將其對應的數據類型編號記為mdl_rid_match，進入步驟B04，當model為空時，進入步驟B07；