[發明專利]一種電力采集數據分布式存儲方法及系統

在審

• 申請號: 202110971847.4
• 申請日: 2021-08-24
• 公開（公告）號: CN113886503A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 魏飛;陳鑫;陳娟;張兆杰;翟術然;盧靜雅;呂偉嘉
• 申請（專利權）人: 國網天津市電力公司營銷服務中心;國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/2455;G06F16/2457;G06F11/14
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

1.一種電力采集數據分布式存儲方法，其特征在于：包括以下步驟：

基于預先建立的存儲熱數據的Oracle生產庫，形成面向熱數據的分布式數據隊列；

基于所述分布式數據隊列，建立大數據存儲平臺，形成分布式大數據存儲集群；

基于所述分布式大數據存儲集群，優化多數據存儲同步服務；

基于多數據存儲同步服務，優化數據流轉入庫，完成電力采集數據分布式存儲。

2.根據權利要求1所述的一種電力采集數據分布式存儲方法，其特征在于：所述存儲熱數據的Oracle生產庫的建立方法為：

采用復用Oracle服務器一體機，建立Oracle數據庫為存儲熱數據的生產庫；其中，所述生產庫用于存儲下述數據中的至少一種：電力數據檔案部分；各維度統計數據；輕量級計算數據和原始數據；所述生產庫用于承擔實時生產數據的查詢和統計。

3.根據權利要求1所述的一種電力采集數據分布式存儲方法，其特征在于：所述形成面向熱數據的分布式數據隊列的具體方法為：

構建對Oracle生產庫的緩存代理，并結合分布式緩存Redis，形成分布式數據隊列。

4.根據權利要求1所述的一種電力采集數據分布式存儲方法，其特征在于：所述建立大數據存儲平臺，形成分布式大數據存儲集群的具體方法為：

基于分布式數據隊列，建立大數據存儲平臺，形成Kudu+HBase+Hive的存儲集群，所述存儲集群作為分布式大數據存儲集群。

5.根據權利要求1所述的一種電力采集數據分布式存儲方法，其特征在于：所述優化多數據存儲同步服務的具體步驟包括：

基于已構建的分布式大數據存儲集群，采用二級Kafka，同步大數據存儲平臺與Oracle生產庫的數據；

當大數據存儲平臺的數據存儲現異常時，使用磁盤臨時存儲，將數據進行離線備份，生成Redis緩存數據；

采用定時全量和實時增量通知，將Oracle生產庫的數據與Redis緩存數據同步。

6.根據權利要求1所述的一種電力采集數據分布式存儲方法，其特征在于：所述優化數據流轉入庫的具體方法為：

由Flink對同步后Oracle生產庫的數據進行實時計算、數據清洗和異常處理后將處理結果存儲到Oracle生產庫中；

由大數據存儲平臺完成Redis緩存數據的混合計算，然后將計算結果存儲到Oracle生產庫中。

7.一種電力采集數據分布式存儲系統，其特征在于：包括：

熱數據存儲和分布式數據列隊形成模塊，用于基于預先建立的存儲熱數據的生產庫，形成面向熱數據的分布式數據隊列；

分布式大數據存儲集群模塊，用于基于所述分布式數據隊列，建立大數據存儲平臺，形成分布式大數據存儲集群；

多數據存儲同步服務模塊，用于基于所述分布式大數據存儲集群，優化多數據存儲同步服務；

數據流轉入庫模塊，用于基于多數據存儲同步服務，優化數據流轉入庫，完成電力采集數據分布式存儲。

8.根據權利要求7所述的一種電力采集數據分布式存儲系統，其特征在于：所述熱數據存儲和分布式列隊形成模塊，用于采用復用Oracle服務器一體機，建立Oracle數據庫為存儲熱數據的Oracle生產庫；其中，所述Oracle生產庫用于存儲下述數據中的至少一種：電力數據檔案部分；各維度統計數據；輕量級計算數據和原始數據；所述生產庫用于承擔實時生產數據的查詢和統計；

該熱數據存儲和分布式列隊形成模塊，還用于構建對Oracle生產庫的緩存代理，并結合分布式緩存Redis，形成分布式數據隊列。

9.根據權利要求7所述的一種電力采集數據分布式存儲系統，其特征在于：所述分布式大數據存儲集群模塊用于基于分布式數據隊列，建立大數據存儲平臺，形成Kudu+HBase+Hive的存儲集群，所述存儲集群作為分布式大數據存儲集群。

10.根據權利要求7所述的一種電力采集數據分布式存儲系統，其特征在于：所述多數據存儲同步服務模塊包括：

大數據存儲平臺與Oracle生產庫的數據統合模塊，用于基于已構建的分布式大數據存儲集群，采用二級Kafka，同步大數據存儲平臺與Oracle生產庫的數據；

異常處理模塊，當大數據存儲平臺的數據存儲現異常時，使用磁盤臨時存儲，將數據進行離線備份，生成Redis緩存數據；

Oracle生產庫的數據與Redis的數據同步模塊，采用定時全量和實時增量通知，將Oracle生產庫的數據與Redis的數據同步。