[發(fā)明專利]基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法

有效

• 申請?zhí)枺?/td>: 201810011720.6
• 申請日: 2018-01-05
• 公開（公告）號: CN108170825B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 曹超;馬玉鑫;常悅
• 申請（專利權(quán)）人: 上海電氣分布式能源科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 上海容慧專利代理事務(wù)所(普通合伙) 31287
• 代理人: 于曉菁

1.一種基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法，其特征在于包括：

第一步驟：在遠程運維報文數(shù)據(jù)解析結(jié)束后執(zhí)行數(shù)據(jù)質(zhì)量監(jiān)控，其中在利用python讀取數(shù)據(jù)后判別報文數(shù)據(jù)全為0的情況以及報文數(shù)據(jù)中出現(xiàn)連續(xù)預(yù)定條數(shù)據(jù)卡死的情況；在判別出現(xiàn)報文數(shù)據(jù)全為0的情況時，發(fā)送相應(yīng)的第一警告信息；在判別出現(xiàn)報文數(shù)據(jù)中出現(xiàn)連續(xù)預(yù)定條數(shù)據(jù)卡死的情況時，發(fā)送相應(yīng)的第二警告信息；第一警告信息和第二警告信息以郵件的形式發(fā)送給用戶；

其中具體步驟為：利用Kafka消息隊列對遠程運維下發(fā)的報文數(shù)據(jù)進行解析，報文數(shù)據(jù)的格式：時間-項目號-表頭-數(shù)據(jù)2016-12-1100:00:52{T:V2,N:SE13-J01,c10:68,c11:73,c12:67,c13:0}，其中c1表示1號通訊管理機；一共有4個通訊管理機，python分別讀取4個通訊管理機的數(shù)據(jù)并將數(shù)據(jù)進行分類匯總，數(shù)據(jù)作為kafka的生產(chǎn)者發(fā)送給impala中間件，對數(shù)據(jù)解析后通過hive傳入Hbase數(shù)據(jù)庫；隨后，分類匯總的4個通訊管理機的報文數(shù)據(jù)進行判斷，如果通過程序報文解析后發(fā)現(xiàn)任一出現(xiàn)的數(shù)據(jù)全為0的情況，將時間和全為0的情況存儲的log.txt中進行記錄；同時，啟動郵件提醒功能，向運維人員或者負責(zé)人的郵箱發(fā)送郵件，告知幾號通訊管理機出現(xiàn)數(shù)據(jù)全為0的情況，提醒運維人員查看；

第二步驟：針對每天存儲的發(fā)電功率和負荷功率數(shù)據(jù)，利用python執(zhí)行每日運行數(shù)據(jù)清洗；其中，每日運行數(shù)據(jù)清洗包括對數(shù)據(jù)采用python的LOF算法的局部離群點檢測算法進行離群點錯誤點查詢，其中將測試數(shù)據(jù)和局部離群點檢測算法中的預(yù)設(shè)數(shù)據(jù)庫數(shù)據(jù)放入測試算法中進行計算以找出離群點，并且對離群點進行修正后重新入庫；

每日運行數(shù)據(jù)清洗還包括下述處理中的一種或多種：對數(shù)據(jù)進行完整度查詢測試以判斷數(shù)據(jù)的完整性，對數(shù)據(jù)進行一致性查詢測試以判斷數(shù)據(jù)是否出現(xiàn)卡死的情況，對數(shù)據(jù)進行錯誤查詢修正處理，對數(shù)據(jù)進行缺失數(shù)據(jù)補全處理。

2.如權(quán)利要求1所述的基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法，其特征在于，在對數(shù)據(jù)進行完整度查詢測試以判斷數(shù)據(jù)的完整性時，查看數(shù)據(jù)中空數(shù)據(jù)占整個一天數(shù)據(jù)的比例，如果該比例超過預(yù)定閾值，則刪除該天數(shù)據(jù)。

3.如權(quán)利要求1所述的基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法，其特征在于，在對數(shù)據(jù)進行一致性查詢測試時，如果出現(xiàn)連續(xù)預(yù)定條數(shù)據(jù)相同的情況，則判定數(shù)據(jù)出現(xiàn)卡死。

4.如權(quán)利要求1所述的基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法，其特征在于，對數(shù)據(jù)進行錯誤查詢修正處理包括：將超過最大發(fā)電功率的數(shù)據(jù)值修正為額定功率值。

5.如權(quán)利要求1所述的基于云平臺的分布式能源數(shù)據(jù)監(jiān)控清洗方法，其特征在于，對數(shù)據(jù)進行缺失數(shù)據(jù)補全處理包括：通過插值法將空數(shù)據(jù)進行補全。