[發明專利]基于分布式組件的電力時序數據庫

在審

• 申請號: 201811547770.2
• 申請日: 2018-12-18
• 公開（公告）號: CN109815026A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 王照陽;宋坤;黃劉松;齊剛;張飛;徐鵬飛;劉廣;馬馳源;王永文;張磊;石永恒
• 申請（專利權）人: 國電南京自動化股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/27
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林;張賞

本發明公開了一種基于分布式組件的電力時序數據庫，包括消息中間件，實時數據存儲模塊，歷史數據存儲模塊，分布式運算組件，分布式協調模塊和安全管理模塊；其中，消息中間件基于Kafka對客戶端的讀寫請求進行緩存和分發；分布式運算組件對讀寫請求進行實時響應，根據請求內容進行相應的Redis或者Hbase的讀寫操作，然后將操作結果通過Kafka反饋給客戶端；分布式協調模塊用于對分布在各臺服務器中的組件進行統一管理；安全管理模塊用于對主機層、組件層、網絡層和接口API層進行安全認證。本發明能有效應對工業互聯網時代數據爆發式增長帶來的存儲和檢索問題，可以為電力企業海量的時序數據存儲提供快速的讀寫服務。

技術領域

本發明涉及一種基于分布式組件的電力時序數據庫，屬于電力系統數據處理技術領域。

背景技術

在電力、化工等工業生產領域，現場設備運行過程中產生了海量時序數據。隨著生產設備的數字化和智能化以及物聯網技術的發展，工業現場需要采集的生產實時數據量不斷增大。尤其在當今工業互聯網發展的時代，信息量呈現爆發式增長趨勢。目前生產中有些系統因為數據量太大，采用定期刪除舊數據的方式。這無疑是數據資源的極大浪費，因為這些時序數據是應用系統進行數據挖掘、分析計算的重要數據基礎。

目前電力企業實時數據存儲主要是采用基于集中式單臺服務器的部署方式。在單臺數據庫服務器上完成實時數據的接收、壓縮存儲、告訴檢索等操作。然而，單臺數據庫的容量、處理能力十分有限，難以處理更大規模的實時數據；數據庫系統無法進行動態擴展，難以適應快速的需求增長。部分的實時數據庫產品支持分布式構架，但是這種相對固定的分布式架構中，數據采集器和數據服務器之間仍是固定的對應關系，服務器節點之間的數據處理工作仍然各自獨立。這種架構符合流程工業地域分布的特點，彌補了系統處理能力的不足。然而這種構架依賴于工程設計節點的系統架構，規模無法靈活調整，無法彌補區域服務器處理能力不足而進行數據遷移的缺陷。因此現有的集中式的數據庫難以滿足當前行業對點數規模、數據分布、可靠性、擴展性、系統成本的需求，較大影響了企業信息化水平和經濟效益。

隨著大數據技術的廣泛應用，尤其在互聯網行業的成功應用，國內外不少學者和公司在研究基于大數據和分布式的實時數據存儲系統。國外的研究產品有OpenTSDB，是基于Hbase的分布式的，可伸縮的時間序列數據庫，主要用作監控系統，譬如收集大規模集群(包括網絡設備、操作系統、應用程序)的監控數據并進行存儲，查詢。在流程工業的生產實時系統中還未有應用先例。國內的基于分布式存儲的研究和方案也有，如浙江大學做了基于云計算的數據存儲和檢索研究等。目前，國內做基于分布式的實時數據存儲的廠家多在探索，影響較大的成熟的產品還沒有，多是結合自己的應用場景設計。將實時數據和其他結構化數據一起存儲在HDFS上，上層利用Hadoop進行查詢操作。

發明內容

本發明所要解決的技術問題是克服現有技術的缺陷，提供一種基于分布式組件的電力時序數據庫，將分布式技術和流式計算框架應用到電力實時數據存儲中來，有效應對工業互聯網時代數據爆發式增長帶來的存儲和檢索問題。

為解決上述技術問題，本發明提供一種基于分布式組件的電力時序數據庫，包括消息中間件，實時數據存儲模塊，歷史數據存儲模塊，分布式運算組件，分布式協調模塊和安全管理模塊；

所述消息中間件，實時數據存儲模塊，歷史數據存儲模塊和分布式運算組件分布式部署在各臺服務器中；

所述時序數據庫通過對外提供接口的方式提供數據服務，對外數據接口包括：實時數據讀操作、熱數據寫操作、歷史數據讀操作、歷史數據寫操作、和邏輯檢索接口；對外系統包括電力行業DCS系統、ECS系統和網控系統；

所述消息中間件用于對客戶端的讀寫請求進行緩存；

所述分布式運算組件用于對客戶端的讀寫請求進行實時響應，請求類型包含實時數據和歷史數據的讀寫；