[發明專利]一種電力大數據質量實時監控方法

在審

• 申請號: 201610493719.2
• 申請日: 2016-06-26
• 公開（公告）號: CN107545517A
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 魏智博;常月廷;曹筱歐;楊慶雙;劉金華;田娜;李寶發;楊宇全;楊濱
• 申請（專利權）人: 國網天津市電力公司;國家電網公司
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06F11/30
• 代理公司: 天津才智專利商標代理有限公司12108
• 代理人: 王顕

技術領域

本發明涉及數據質量監控領域，尤其是一種電力大數據質量實時監控方法。

背景技術

大數據處理的關鍵就是解決數據質量問題，規避數據錯誤、保障數據質量才能真正讓企業從大數據應用中獲得利益，保證數據質量是大數據為企業帶來價值的先決條件。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。

近幾年，電力行業信息化也得到了長足的發展，從初始電力生產自動化到80年代以財務電算化為代表的管理信息化建設，再到近年大規模的企業信息化建設，特別伴隨著下一代智能化電網的全面建設，以物聯網和云計算為代表的新一代IT技術在電力行業中的廣泛應用，電力數據資源開始急劇增長并形成了一定的規模。

隨著供電企業信息化持續建設與深化應用，供電企業各項業務已與信息化初步融合，信息系統內業務數據的數量和種類的逐步增多，數據共享需求迫切。而數據質量和數據共享利用水平不高，一是數據對分析決策支持度低，同一數據存在多個數多源、統計口徑不一致；二是數據對運營管理的支持度有待提高，數據質量參差不齊，部分數據無業務系統支持，缺乏統一的規范、標準和明確的數據問責；三是數據質量管控滯后，管控工作片面化，沒有形成一個完整性的數據質量管控體系和全面有效的數據質量保障機制，制約數據價值的深度挖掘。

發明內容

本發明要解決的技術問題是提供一種電力大數據質量實時監控方法，其實現對供電企業數據的全過程質量管理，提升數據質量，保障數據的準確、及時、有效和可信，為數據的集成和挖掘應用提供有力保障。

為了解決上述技術問題，本發明的一種電力大數據質量實時監控方法，包括以下步驟：

1)數據流實時輸入，定義計算拓撲，定義一個算法與框架的交互方式，定義好算法的輸入結構和算法的輸出結構，然后拓撲能夠組合不同的算法來為用戶提供一個統一的服務；

2)將數據流分批，通過拓撲的加載與啟動，對于每個節點來說，啟動時需要加載拓撲，節點需要其他的信息，比如上游的數據來源與下游的數據輸出；下游的數據輸出的拓撲信息可以存儲到Tuple中，拓撲本身是無狀態的；拓撲的在線更新，實現不停止服務的情況下進行更新；

3)采用DStreams進行流式計算，數據流通過將用戶定義的一系列的RDD轉化成DAG圖；

4)利用Spark批處理執行轉換，將DAG轉化成一個TaskSet任務集，而這個TaskSet就可以向集群申請計算資源，集群把這個TaskSet部署到Worker中運算；首先定義RDD，在RDD上做相應的轉化動作，最后系統將這一系列的RDD投放到Spark的集群中運行；

5)Spark框架任務調度和內存管理，接收步驟2)和步驟4)兩種方式，完成計算；

6)輸出批處理結果。

本發明的有益效果是：面向電力大數據的元數據模型和數據質量監控規則，通過電力大數據質量實時監控方法，基于Streaming的流式數據質量技術，實現數據傳輸過程不落地進行實時數據質量監控的方法及應用策略，在數據傳輸過程中，結合內存數據庫，通過規則庫在不同節點的使用分析，達到實時監控的功能；利用實時大數據捕獲及同步技術，在同步主通道開發旁路數據通道，支持數據質量實時監控的需求。

利用基于流式計算技術的電力大數據質量實時監控方法，圍繞電力企業數據生命周期，實現對供電企業數據的全過程質量管理，提升數據質量，保障數據的準確、及時、有效和可信，為數據的集成和挖掘應用提供有力保障。

附圖說明

圖1為本發明一種電力大數據質量實時監控方法的示意圖。

具體實施方式

下面結合附圖和具體實施方式對本發明作進一步詳細的說明：

參見圖1，本發明的一種電力大數據質量實時監控方法處理流程，包括企業應用數據流實時輸入1、將數據流分批2、采用DStreams進行流式計算3、利用Spark批處理執行轉換4、Spark框架任務調度和內存管理5和輸出批處理結果6。