[發明專利]一種電力采集數據分布式存儲方法及系統

在審

• 申請號: 202110971847.4
• 申請日: 2021-08-24
• 公開（公告）號: CN113886503A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 魏飛;陳鑫;陳娟;張兆杰;翟術然;盧靜雅;呂偉嘉
• 申請（專利權）人: 國網天津市電力公司營銷服務中心;國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/2455;G06F16/2457;G06F11/14
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

本發明涉及一種電力采集數據分布式存儲方法及系統，包括以下步驟：基于預先建立的存儲熱數據的Oracle生產庫，形成面向熱數據的分布式數據隊列；基于所述分布式數據隊列，建立大數據存儲平臺，形成分布式大數據存儲集群；基于所述分布式大數據存儲集群，優化多數據存儲同步服務；基于多數據存儲同步服務，優化數據流轉入庫，完成電力采集數據分布式存儲。本發明能夠提高數據存儲的擴展能力。

技術領域

本發明屬于數據存儲技術領域，尤其是一種電力采集數據分布式存儲方法及系統。

背景技術

用電信息采集系統作為智能電網的重要組成部分，國家電網公司自2014年以來，通過采集系統的全面建設，有力的促進了智能量測技術的發展，提升電網智能化水平。采集的各類數據已經在電力交易、電費回收、用電檢查、市場需求側、線損精益分析、配網運行監測、供電質量監測以及故障搶修等多個專業業務應用中發揮了重要的數據支撐作用，已成為電力企業經營決策分析的重要基礎數據來源。

目前，現有的用電信息采集系統亟待提升數據存儲與計算能力，支撐系統的海量數據存儲、多任務計算及數據分析需求，滿足存儲彈性可擴展，提升統計計算效率，實現3000余萬用戶電量計算、臺區線損計算45分鐘內完成，智能表深化應用計算30分鐘內完成。

傳統的用電信息采集系統的電力采集數據存儲方法從功能分析、性能分析、穩定性、可擴展性等方面，Oracle數據在存儲和計算方面存在較大問題，具體為：

(1)傳統采集系統只能在采集數據入庫之后才能進行統計分析，不能滿足一些實時性要求較高的業務要求。

(2)傳統采集系統采取oracle進行統計分析等各類計算，面對大數量計算時，CPU及IO成為重要的性能瓶頸。

(3)傳統關系型數據庫一旦損壞或檢修，必須停機，相應的業務也必須中斷。

(4)傳統關系型數據庫擴展不方便，在擴展硬件時需要停止業務和oracle服務。

發明內容

本發明的目的在于克服現有技術的不足，提出一種電力采集數據分布式存儲方法及系統，擴展了數據存儲的擴展能力。

本發明解決其現實問題是采取以下技術方案實現的：

一種電力采集數據分布式存儲方法，包括以下步驟：

基于預先建立的存儲熱數據的Oracle生產庫，形成面向熱數據的分布式數據隊列；

基于所述分布式數據隊列，建立大數據存儲平臺，形成分布式大數據存儲集群；

基于所述分布式大數據存儲集群，優化多數據存儲同步服務；

基于多數據存儲同步服務，優化數據流轉入庫，完成電力采集數據分布式存儲。

而且，所述存儲熱數據的Oracle生產庫的建立方法為：

采用復用Oracle服務器一體機，建立Oracle數據庫為存儲熱數據的生產庫；其中，所述生產庫用于存儲下述數據中的至少一種：電力數據檔案部分；各維度統計數據；輕量級計算數據和原始數據；所述生產庫用于承擔實時生產數據的查詢和統計。

而且，所述形成面向熱數據的分布式數據隊列的具體方法為：

構建對Oracle生產庫的緩存代理，并結合分布式緩存Redis，形成分布式數據隊列。

而且，所述建立大數據存儲平臺，形成分布式大數據存儲集群的具體方法為：

基于分布式數據隊列，建立大數據存儲平臺，形成Kudu+HBase+Hive的存儲集群，所述存儲集群作為分布式大數據存儲集群。

而且，所述優化多數據存儲同步服務的具體步驟包括：