[發明專利]一種用于源網荷多元數據處理的系統

在審

• 申請號: 202011478470.0
• 申請日: 2020-12-15
• 公開（公告）號: CN112699162A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 何春江;陳勇;裘微江;周成;李文鋒;鄭志偉;嚴劍峰;郭強;田芳;李亞樓;李柏青;周智強;陳繼林;郭中華;吳倩紅;李勤新
• 申請（專利權）人: 中國電力科學研究院有限公司;國家電網有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06Q10/10;G06Q50/06
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 夏德政

1.一種用于源網荷多元數據處理的系統，所述系統，包括：

數據傳輸及交換模塊，所述數據傳輸及交換模塊用于對平臺間的數據傳輸及交換；

數據處理模塊，所述數據處理模塊用于對平臺的多種類型的數據進行處理；

數據存儲模塊，所述數據存儲模塊用于對平臺的實時數據及非實時數據進行存儲；

數據計算模塊，所述數據計算模塊用于對平臺存儲的數據進行批量計算、內存計算及流計算；

數據分析及挖掘模塊，所述數據分析及挖掘模塊包括多個類型的數據分析模型，并對數據分析模型進行統一的算法庫管理，所述數據分析模型對不同類型的數據進行分析及挖掘；

支撐引擎模塊，所述支撐引擎模塊提供規則引擎及對平臺發生的復雜事件進行處理；

數據管理模塊，所述數據管理模塊用于對平臺存儲的數據進行數據目錄、標簽、數據模型及數據質量的管理，及主數據的管理；

安全管理模塊，所述安全管理模塊用于對平臺的安全管理；

平臺管理模塊，所述平臺管理模塊用于對平臺的配置調度管理；

平臺服務模塊，所述平臺服務模塊用于對平臺服務的調度管理。

2.根據權利要求1所述的系統，所述數據傳輸及交換模塊，包括：

數據交換單元，用于平臺間的數據發送與交換，針對數據模型，進行數據運算前的轉換；

數據傳輸單元，用于對平臺內部的數據傳輸；所述傳輸包括：同/異構數據源之間的數據遷移。

3.根據權利要求1所述的系統，所述數據處理模塊，包括：

關系數據處理單元，用于對關系型數據的數據查詢、數據轉換及過濾處理，以及對關系數據庫中每個數據庫的數據進行整合；

時序數據處理單元，用于對時序數據庫的數據查詢，事件戳管理，及過濾篩選；對時序數據庫中的數據進行整合；

文件數據處理單元，用于對平臺接收的文件數據進行解析整理，并將解析整理的文件進行分類存儲及匯總統計。

4.根據權利要求1所述的系統，所述數據存儲模塊包括：實時數據存儲模塊及非實時數據存儲模塊；

所述實時數據存儲模塊包括：實時數據存儲單元及時序數據存儲單元；

所述實時數據存儲單元用于實時數據的存儲及讀??；

所述時序數據存儲單元用于存儲和管理時間序列數據；

所述非實時數據存儲模塊，包括：關系數據庫存儲單元，內存數據庫存儲單元，列式數據庫存儲單元，查詢引擎單元，文件系統單元；

所述關系數據庫存儲單元用于關系數據庫的數據存儲、訪問和管理；

所述內存數據庫存儲單元用于內存數據庫的數據存儲、訪問和管理；

所述列式數據庫存儲單元用于列式數據庫數據存儲、訪問和管理；

所述查詢引擎單元用于對實時數據毫秒級查詢響應，自定義匯總查詢數據的條件，對時序數據庫中的數據進行告訴查詢及文本數據關鍵字查詢；

所述文件系統單元用于平臺中分布式文件的存儲、訪問、查詢和管理。

5.根據權利要求1所述的系統，所述數據計算模塊，包括：

批量計算單元，對大數據進行批量計算，包括批量進行數據加載，對加載的數據進行計算及解析；

內存計算單元，對數據進行內存計算，對內存數據庫的數據加載加載數據，對內存數據庫中的數據進行計算及解析；

流計算單元，對數據流進行計算，包括對數據進行流計算加載，數據分有限級計算，及流計算的結果解析。

6.根據權利要求1所述的系統，所述數據分析及挖掘模塊包括：

模型算法庫單元，提供存儲通用模型算法，存儲專業模型算法，存儲優化模型算法，和存儲平臺的定制化模型算法；

統計分析單元，提供統計分析算法，對平臺數據經行聚合，獲取統一分析結果，分析歷史數據，獲取趨勢分析結果；

多維分析單元，進行多維度的數據分析，獲取多維度分析結果，根據多維度分析結果，進行模型定義；

自助式分析單元，自定義數據分析流程，自定義數據分析參數配置，自定義分析規則；

數據挖掘單元，對數據挖掘的模型進行分析及評估；

數據可視化單元，自定義數據可視化的展示效果。