[發明專利]基于分布式列式存儲的云數據中心系統歷史數據管理方法

在審

• 申請號: 202011562871.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112925845A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 歐陽宇宏;吳晗;康文倩;史浩秋;車向北;吳濤;鄧彬;鄭曉露;王玉軍;胡亞榮;王漢潮;李雨森;趙虎;崔偉業;張瑞
• 申請（專利權）人: 深圳供電局有限公司;國電南瑞南京控制系統有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了基于分布式列式存儲的云數據中心系統歷史數據管理方法，所述管理方法包括如下步驟：歷史數據抽取服務模塊從模型庫中獲取訂閱的量測信息；根據所述量測信息來源通過服務總線向所述量測信息來源所在區域調度的歷史數據服務請求指定歷史數據，所述歷史數據抽取服務模塊獲得數據后直接提交給分布式列式存儲數據庫HBase；HBase主動采樣服務模塊負責模型中心私有模型的數據采集，HBase主動采樣服務模塊提交數據到分布式列式存儲數據庫HBase；HBase采樣查詢服務模塊為所述上層應用模塊提供歷史數據查詢服務。本發明提供基于分布式列式存儲實現高可靠、高性能、面向列、可伸縮的歷史數據集中存儲，實現歷史數據準實時匯聚，實現歷史數據透明訪問。

技術領域

本發明涉及一種基于分布式列式存儲的云數據中心系統歷史數據管理方法，屬于電力系統自動化電網數據管理技術領域。

背景技術

目前，全國各地調EMS主調建設大部分都采用了D5000系統，針對均采用D5000系統的省調和地調可以建設省地模型中心，完成后各地調及省調與模型中心的聯調工作，實現全省模型的模型中心匯集功能。這也為云數據中心系統的建設提供了良好的契機。全省模型中心保證了省調與地調系統相同模型記錄的ID一致性，為后續開展省地一體化云數據中心的建設工作，節省大量的時間和人工，為后續云數據中心系統建設打下良好的基礎。

云數據中心系統主要完成縱向和橫向的EMS模型，圖形，數據集成和發布功能。其中，縱向數據集成指的是數據中心能夠匯集省調與地調的數據及相關模型、圖形與參數，滿足數據中心進行狀態估計計算的要求，以及后續省地聯合應用交互的橋梁和中心集成展示的需求。

歷史數據管理是云數據中心系統核心功能之一，歷史數據管理通過基于云技術的大數據處理平臺實現，為上層應用提供安全、穩定、高效、易擴展的海量歷史數據管理手段，實現歷史數據的統一存儲和高效訪問，并提供豐富的歷史數據可視化展示方法，為基于歷史數據的分析展示應用提供技術支撐，為建設云數據中心系統奠定堅實的基礎。

現有技術大多采用關系庫存儲歷史數據，缺乏歷史數據的統一存儲。

發明內容

本發明的目的在于，克服現有技術存在的技術缺陷，解決上述技術問題，提出基于分布式列式存儲的云數據中心系統歷史數據管理方法，針對不同地調的海量歷史數據，基于分布式列式存儲實現高可靠、高性能、面向列、可伸縮的歷史數據集中存儲，實現歷史數據準實時匯聚，實現歷史數據透明訪問。

本發明具體采用如下技術方案：基于分布式列式存儲的云數據中心系統歷史數據管理方法，所述云數據中心系統包括：歷史數據抽取服務模塊、HBase主動采樣服務模塊、分布式列式存儲數據庫HBase、HBase采樣查詢服務模塊、上層應用模塊，所述歷史數據抽取服務模塊、所述HBase主動采樣服務模塊、所述HBase采樣查詢服務模塊分別與所述分布式列式存儲數據庫HBase通訊連接，HBase采樣查詢服務模塊與所述上層應用模塊通訊連接，所述管理方法包括如下步驟：

歷史數據抽取服務模塊從模型庫中獲取訂閱的量測信息；根據所述量測信息來源通過服務總線向所述量測信息來源所在區域調度的歷史數據服務請求指定歷史數據，所述歷史數據抽取服務模塊獲得數據后直接提交給分布式列式存儲數據庫HBase；HBase主動采樣服務模塊負責模型中心私有模型的數據采集，HBase主動采樣服務模塊提交數據到分布式列式存儲數據庫HBase；HBase采樣查詢服務模塊為所述上層應用模塊提供歷史數據查詢服務。

作為一種較佳的實施例，所述量測信息包括遙測歷史數據訂閱表，所述遙測歷史數據訂閱表描述數據中心采樣數據的規模，以及為各個量測信息描述直采區域。

作為一種較佳的實施例，所述云數據中心系統維護遙測歷史數據訂閱表，標識測點的來源，具體包括：從哪個地調抽取該測點的歷史數據，而不是分配存儲的位置；如果該測點來源為數據中心，則表示數據由本地的歷史采樣服務進行采集；如果該測點來源為非數據中心，則從所定義的區域抽取歷史數據。