[發(fā)明專(zhuān)利]機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910943586.8
• 申請(qǐng)日: 2019-09-30
• 公開(kāi)（公告）號(hào): CN110969556A
• 公開(kāi)（公告）日: 2020-04-07
• 發(fā)明（設(shè)計(jì)）人: 張鵬飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海儀電（集團(tuán)）有限公司中央研究院
• 主分類(lèi)號(hào): G06Q50/26
• 分類(lèi)號(hào): G06Q50/26
• 代理公司: 上海容慧專(zhuān)利代理事務(wù)所(普通合伙) 31287
• 代理人: 于曉菁

本發(fā)明公開(kāi)了一種機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法及裝置，本發(fā)明能夠根據(jù)數(shù)據(jù)的累積自動(dòng)更新模型；能夠根據(jù)不同河道單獨(dú)建立模型，模型覆蓋所有檢測(cè)維度的聯(lián)合分布，多變量之間有關(guān)聯(lián)關(guān)系的情況下，可以發(fā)現(xiàn)關(guān)聯(lián)關(guān)系的變化，能夠發(fā)現(xiàn)相對(duì)歷史關(guān)聯(lián)規(guī)律之外的異常；能夠自動(dòng)識(shí)別河道多種常見(jiàn)指標(biāo)關(guān)聯(lián)分布模式，以及各指標(biāo)隨時(shí)間的變化序列模式，在多個(gè)正常模式之外的檢測(cè)結(jié)果才被認(rèn)為是異常點(diǎn)，單一變量隨時(shí)間變化的規(guī)律異常距離；采用多次抽樣，形成多模型疊加共同判定的算法，提高算法的穩(wěn)定性，減少誤判漏判。

技術(shù)領(lǐng)域

本發(fā)明屬于水質(zhì)異常檢測(cè)技術(shù)領(lǐng)域，具體涉及一種機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法及裝置。

背景技術(shù)

在我國(guó)地表水資源短缺等問(wèn)題日益突出的今天，“河長(zhǎng)制”成為促進(jìn)水資源可持續(xù)利用和推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展與水環(huán)境承載能力相協(xié)調(diào)的有力制度。在河道水質(zhì)檢測(cè)體系中，在不同流域、不同河段的檢測(cè)數(shù)據(jù)則成為了河長(zhǎng)制管理體系的重要信息來(lái)源和決策支撐，然而當(dāng)前的河道水質(zhì)檢測(cè)原始數(shù)據(jù)具有項(xiàng)目多、專(zhuān)業(yè)度高、難關(guān)聯(lián)等特點(diǎn)，需要對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的挖掘和關(guān)聯(lián)分析，得到更加方便河長(zhǎng)制管理和決策的分析結(jié)果。特別地，在河長(zhǎng)制的河道水質(zhì)檢測(cè)與污染情況分析中，河道檢測(cè)指標(biāo)的異常變化跟蹤與發(fā)現(xiàn)是一個(gè)非常重要的問(wèn)題。在河道水質(zhì)檢測(cè)過(guò)程中，水質(zhì)指標(biāo)隨季節(jié)、氣溫等具有相應(yīng)的周期性變化，因此有些場(chǎng)景(如夜間偷排等)中水質(zhì)的個(gè)別指標(biāo)變化并不能引起告警閾值的觸發(fā)，因此無(wú)論從系統(tǒng)的運(yùn)維角度，還是從河長(zhǎng)監(jiān)管河道狀況的角度，都有需求根據(jù)多維度檢測(cè)指標(biāo)的歷史數(shù)據(jù)分布和規(guī)律，檢測(cè)數(shù)據(jù)中的異常點(diǎn)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提供一種機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法及裝置，以解決現(xiàn)有技術(shù)中的不足。

為了達(dá)到上述目的，本發(fā)明的目的是通過(guò)下述技術(shù)方案實(shí)現(xiàn)的：

一方面，提供一種機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法，其中，包括如下步驟：

S1.對(duì)數(shù)據(jù)進(jìn)行維度拆分，進(jìn)行缺失值檢查和設(shè)備異常值檢查；

S2.針對(duì)統(tǒng)計(jì)分布進(jìn)行異常建模；

S3.針對(duì)各維度進(jìn)行統(tǒng)計(jì)異常打分；

S4.針對(duì)各維度進(jìn)行時(shí)序建模異常打分；

S5.針對(duì)每個(gè)維度統(tǒng)計(jì)與時(shí)序異常，形成融合判定；

S6.綜合各維度融合判定，重復(fù)步驟S5直至形成數(shù)據(jù)點(diǎn)異常判定；

在上述步驟中，對(duì)于統(tǒng)計(jì)分布異常，首先假設(shè)正常的數(shù)據(jù)點(diǎn)會(huì)出現(xiàn)在隨機(jī)模型發(fā)生概率高的區(qū)域，而如果一個(gè)數(shù)據(jù)點(diǎn)出現(xiàn)在了一個(gè)隨機(jī)模型發(fā)生概率低的區(qū)域則認(rèn)為是異常點(diǎn)。

上述機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法，其中，在步驟S2和步驟S3中，使用IForest、PCA、HBOS、KNN四種異常檢測(cè)技術(shù)對(duì)河道水質(zhì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分布的異常建模：進(jìn)行多次抽樣，并對(duì)四種算法進(jìn)行單獨(dú)建模，完成不同的異常打分操作；對(duì)四種算法模型進(jìn)行結(jié)果碰撞，對(duì)每個(gè)時(shí)間點(diǎn)所有的異常打分進(jìn)行疊加，當(dāng)超過(guò)閾值時(shí)，這個(gè)時(shí)間點(diǎn)判定為異常點(diǎn)；形成一個(gè)由多模型疊加共同進(jìn)行統(tǒng)計(jì)分布的異常檢測(cè)算法。

上述機(jī)器學(xué)習(xí)多維度多模型融合河道水質(zhì)異常檢測(cè)方法，其中，在步驟S2和步驟S3中：

IForest異常檢測(cè)的步驟如下：

a.從訓(xùn)練數(shù)據(jù)中隨機(jī)選擇m個(gè)樣本點(diǎn)作為subsample，放入樹(shù)的根節(jié)點(diǎn)；

b.隨機(jī)指定一個(gè)維度，在當(dāng)前節(jié)點(diǎn)數(shù)據(jù)中隨機(jī)產(chǎn)生一個(gè)切割點(diǎn)p，切割點(diǎn)產(chǎn)生于當(dāng)前節(jié)點(diǎn)數(shù)據(jù)中指定維度的最大值和最小值之間；

c.以此切割點(diǎn)生成了一個(gè)超平面，將當(dāng)前節(jié)點(diǎn)數(shù)據(jù)空間劃分為2個(gè)子空間：把指定維度里小于p的數(shù)據(jù)放在當(dāng)前節(jié)點(diǎn)的左孩子，把大于等于p 的數(shù)據(jù)放在當(dāng)前節(jié)點(diǎn)的右孩子；