[發明專利]基于大數據的供水管網異常數據檢測方法

在審

• 申請號: 202011477813.1
• 申請日: 2020-12-15
• 公開（公告）號: CN112612824A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 劉航;劉熾;郎代志;田武平;韓星
• 申請（專利權）人: 重慶梅安森科技股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F17/18;F17D5/00
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 呂小琴

本發明提供一種基于大數據的供水管網異常數據檢測方法，所述方法包括如下步驟：S1：獲取一段時間范圍內的壓力監測數據；S2：對監測數據進行預處理操作，包括去除重復數據的數據序列，舍棄數據缺失嚴重的天數；S3：對預處理后的每個壓力傳感器的測量值進行正態分布處理，所述正態分布處理包括：正態性檢驗和正態數據轉換；S4：對通過正態分布假設檢驗后的數據采用三倍標準差準則進行數據異常檢測；將超過閾值的數據集合均作為檢測出的異常數據輸出。本申請通過對供水管網監測大數據中進行預處理、正態分布處理和三倍標準差準則檢測后，確定每個傳感器的異常數據，檢測精度高。

技術領域

本發明涉及異常數據檢測技術領域，尤其涉及一種基于大數據的供水管網異常數據檢測方法。

背景技術

供水管網系統是城市最重要的基礎設施之一，被稱為“生命線工程”，各種管網突發事故的發生，都會造成不可估量的后果。目前，大部分供水管網安置在線監測設備采集節點壓力，流量數據，通過無線傳感網將數據傳輸到SCADA系統。但在實際運行中，各種管網突發事故的發生，都會造成不可估量的后果。監測設備的異常或供水管網事故的發生都會引起監測數據變化并產生異常值。但城市供水管網數量多，致使監測供水管網運行狀態的監測數據更多，即一個城市的供水管網監測數據量可以用海量來形容，依靠人工來檢查異常數據投入人力成本打，且效率不高，但目前沒有可以直接應用于供水管網的異常數據檢測方法。

因此，亟需一種基于供水管網監測大數據的異常數據檢測方法。

發明內容

有鑒于此，本發明提供一種基于大數據的供水管網異常數據檢測方法，其特征在于：所述方法包括如下步驟：

S1：采集設置于目標供水管網中的壓力傳感器的監測數據，即從目標供水管網管理中心的數據采集與監視控制系統中獲取每個壓力傳感器的測量值；

S2：預處理步驟S1采集的每個壓力傳感器的測量值，所述預處理包括：數據規約、缺失值處理和重復值處理；

S3：對預處理后的每個壓力傳感器的測量值進行正態分布處理，所述正態分布處理包括：正態性檢驗和正態數據轉換；

在所述正態性檢驗中，若每個壓力傳感器的測量值符合正態分布，則進入下一步，若不符合正態分布，則將所述不符合正態分布的數據分別開平方根，將所述非正態分布數據轉換成符合正態分布的數據，即將所述不符合正態分布的數據X的平方根作為新的分布數據，并進入下一步：

所述不符合正態分布的數據X的平方根作為新的分布數據的具體方法為：

X’＝sqrt(X)

其中，X’表示不符合正態分布的數據X的平方根，X表示不符合正態分布的數據；

S4：確定每個壓力傳感器的三倍標準差線的上限值μ+3σ和下限值μ-3σ，其中，μ表示每個壓力傳感器經過正態分布處理后的數據的平均值μ，σ表示每個壓力傳感器經過正態分布處理后的數據的標準差；

S5：判斷每個壓力傳感器經過所述正態分布處理后的數據是否在對應的三倍標準差線的上限值μ+3σ和下限值μ-3σ之間，若是，則該壓力數據正常，若否，則該壓力數據異常。

進一步，所述正態分布假設檢驗包括如下步驟：

S21：確定壓力傳感器的測量值的累積比例和假定正態時的數據分布累積比例，以壓力傳感器的測量值的累積比例為橫軸，假定正態時的數據分布累積比例為縱軸，作正態概率圖；

S22：將壓力傳感器的測量值的累積比例和假定正態時的數據分布累積比例進行對比，判斷正態概率圖偏差程度是否小于預設閾值，若是，則符合正態分布，若否，則不符合正態分布。

進一步，所述數據規約包括獲取每個壓力傳感器的采集時間和測量結果值。