[發明專利]電網數據同步方法、系統、裝置、計算機設備和存儲介質

在審

• 申請號: 202011328480.6
• 申請日: 2020-11-24
• 公開（公告）號: CN112541036A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 張文瀚;賈方達;詹衛許;謝輝;段海燕;胡學強
• 申請（專利權）人: 南方電網數字電網研究院有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06Q50/06
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 王程

本申請涉及一種電網數據同步方法、系統、裝置、計算機設備和存儲介質，該電網數據同步方法通過將獲取得到的多個省側電網數據通過正交解耦的方式拆分為多個數據包，根據各數據包中的數據標識將不同數據包通過預設的與該數據標識相對應的數據通道分別發送至分布式消息隊列中，從而緩解網側對于不同省側電網數據的集中處理的壓力，從而解決了現有技術中存在的網側數據處理異常緩慢的技術問題，達到了提高網側數據處理效率的技術效果。

技術領域

本申請涉及數據處理技術領域，特別是涉及一種電網數據同步方法、系統、裝置、計算機設備和存儲介質。

背景技術

電網系統中包括不同的電網層級，一般包括不同的省側電網系統和對不同省側電網系統進行統一管理的網側電網系統，不同的省側電網需要將該側電網中的日常數據傳輸至網側電網系統進行統一管理，并需要保證在數據傳輸過程中的實時性和準確性。

目前，將省側電網數據傳輸至網側電網一般包括如下步驟：省側業務系統通過抽取進程抓取省側數據庫中電網數據，并通過投遞進程將省側電網數據投遞到網側電網系統；在網側電網系統對該省側電網數據進行處理時，首先執行復制進程將該省側電網數據轉譯成Json格式數據并發布到Kafka平臺，最后通過消費程序將Json格式數據裝載到Hbase數據庫，以進行后續分析管理。

在實際數據同步的過程中，由于省側電網數據量大，在網側電網系統中，將省側電網數據裝載到Kafka的速率嚴重低于省側業務系統的投遞速率，從而導致網側數據處理異常緩慢。

發明內容

基于此，有必要針對上述技術問題，提供一種電網數據同步方法、系統、裝置、計算機設備和存儲介質。

第一方面，提供了一種電網數據同步方法，方法包括：

獲取多個省側電網數據；

通過正交解耦方式將多個省側電網數據拆分為多個數據包，其中，數據包包括數據標識；

根據數據標識和預設的各數據通道的通道標識之間的對應關系，確定每個數據包對應的目標數據通道；

通過各目標數據通道將對應的數據包存儲至分布式消息隊列中。

在本申請的一個可選實施例中，方法還包括：對分布式消息隊列中的各數據包進行時序矯正，得到數據包序列表；按照數據包序列表，將各數據包存儲至網側數據庫。

在本申請的一個可選實施例中，對分布式消息隊列中的各數據包進行時序矯正，得到數據包序列表，包括：獲取分布式消息隊列中每個數據包的數據變更日志，得到多個數據變更日志；根據多個數據變更日志確定每個數據包的時序特征值，時序特征值用于表征每個數據包的日志變更時間順序；按照從小及大的順序對時序特征值進行排序，得到數據包序列表。

在本申請的一個可選實施例中，還包括：根據多個省側歷史電網數據的總流量確定數據通道的數量。

在本申請的一個可選實施例中，數據標識的獲取方法包括：根據多個省側歷史電網數據擬合特征離散函數，省側歷史電網數據包括地域標識和數據類型標識；將當前的省側電網數據代入到特征離散函數中，進行最優解求解，得到數據標識。

在本申請的一個可選實施例中，數據標識為特征離散函數的Hash碼。

第二方面，提供了一種電網數據同步系統，包括：

多個省側電網系統；

網側電網系統，網側電網系統用于執行如上的電網數據同步方法。

第三方面，提供了一種電網數據同步裝置，裝置包括：數據獲取模塊、數據拆分模塊、通道確定模塊和第一存儲模塊。

該數據獲取模塊用于獲取多個省側電網數據；