[發明專利]一種融合多源異構電網數據的獲取和分布式存儲方法

有效

• 申請號: 201611177776.6
• 申請日: 2016-12-19
• 公開（公告）號: CN106777141B
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 楊祎;蘇建軍;陳玉峰;郭志紅;孟瑜;杜修明;王輝;馬強;馬艷;李程啟;耿玉杰;林穎;白德盟
• 申請（專利權）人: 國網山東省電力公司電力科學研究院;國網山東省電力公司;山東魯能軟件技術有限公司;國家電網公司
• 主分類號: G06F16/84
• 分類號: G06F16/84;G06Q50/06
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

1.一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，包括以下步驟：

依據各個業務系統數據特點建立接口協議并建立電網運行環境及設備數據模型規范；

配置各業務系統的數據接入策略、配置數據校驗規則，從而實現實時接入應用和歷史接入應用；

監控實時接入應用運行過程中產生的日志信息、故障信息及告警信息，對于監控到的故障信息，對故障期間丟失的數據進行數據補錄；

建立數據廣播和緩存電網運行數據的格式規范，把解析的在線監測數據、運行數據、雷電數據和氣象數據進行廣播到并存儲到緩存消息隊列上，按周期寫入Hadoop分布式存儲文件或HBase；

將接入的數據和監控數據進行可視化展示；

配置各業務系統的數據接入策略，包括與各個業務系統交互數據的規則協議、數據源地址、接口形式，其中，所述業務系統交互數據的規則協議主要包括實時數據交互協議、歷史數據交互協議；

實時交互協議主要描述系統數據向系統數據提供方發送請求參數的解釋和系統數據提供方相應返回的數據內容屬性的解釋，描述觸發機制即使用實時數據交互協議的頻率；歷史數據交互協議與實時數據交互協議請求和返回相同，但非定期觸發；

數據源地址主要描述系統數據提供方發布服務的ip地址及端口；

接口形式主要描述系統數據提供方的發布數據的方式。

2.如權利要求1所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，建立的數據模型規范即為各個業務系統的數據屬性，包括能量管理系統模型規范、雷電定位系統模型規范及氣象系統模型規范；

雷電定位系統模型規范：制定接口協議獲取雷擊發生時間、位置、回擊次數；建立雷電系統模型規范包括：雷電發生時間、精度坐標、緯度坐標、電流強度及回擊次數；

氣象系統模型規范：制定接口協議獲取氣象監測數據、雷達圖數據、云圖數據及天氣預報數據；建立氣象系統監測信息模型、雷達信息模型、云圖信息模型及天氣預報信息模型；

能量管理系統模型規范：制定接口協議獲取電流、電壓、有功功率、無功功率數據；建立EMS系統模型規范包括量測id、量測時間、量測類型和量測值。

3.如權利要求1所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，配置的數據校驗規則用于描述對于從系統數據提供方獲取的數據的預清洗規則，包括基于時間序列的清洗、基于聚類算法的清洗、基于SVM的清洗、臺賬清洗規則；

其中，實時接入應用和歷史接入應用綜合數據接入策略及數據校驗規則，依據數據模型規范實現各個業務系統的數據接入和解析。

4.如權利要求1所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，所述實時接入應用運行過程中產生的日志信息為實時接入應用的過程信息，記錄WebService開始訪問、WebService訪問完成或完成一次數據讀取動作信息；

故障信息為實時接入應用的故障狀態，包括網絡故障、服務停止故障及存儲故障；

告警信息描述為實時接入應用的告警狀態，包括訪問延遲或存儲延遲。

5.如權利要求1所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，所述建立數據廣播和緩存電網運行數據的格式規范，格式規范旨在根據數據模型規范制定的符合緩存消息隊列存儲格式、區分業務系統和方便搜索查詢的數據結構的業務表及解析分解出各系統運行數據消息的方法。

6.如權利要求1或5所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，所述數據廣播是將接入的實時數據寫入緩存消息隊列，作為實時分析處理和應用功能的數據源；

所述Hadoop分布式存儲文件存儲從緩存消息隊列中定期持久化的數據，作為分布式分析處理的數據源。

7.如權利要求1所述的一種融合多源異構電網數據的獲取和分布式存儲方法，其特征是，所述可視化展示中通過界面展示實時接入應用接入的數據和監控數據，應用接入數據中量測值隨著時間變化的曲線圖展示；監控數據中直觀展示Web服務狀態和存儲狀態的界面展示。