[發(fā)明專利]一種基于特征互相關(guān)性和概率密度的數(shù)據(jù)異常分析方法

在審

• 申請?zhí)枺?/td>: 202010789227.4
• 申請日: 2020-08-07
• 公開（公告）號: CN112037106A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 任紅軍;朱曉然;牛小民;魏建華;徐敏杰
• 申請（專利權(quán)）人: 漢威科技集團(tuán)股份有限公司
• 主分類號: G06Q50/26
• 分類號: G06Q50/26;G06F17/18;G06K9/62
• 代理公司: 鄭州德勤知識產(chǎn)權(quán)代理有限公司 41128
• 代理人: 黃紅梅

本發(fā)明涉及一種基于特征互相關(guān)性和概率密度的數(shù)據(jù)異常分析方法，包括：基于連續(xù)煙氣監(jiān)測系統(tǒng)CEMS采集到廢氣污染物數(shù)據(jù)，進(jìn)行篩選和預(yù)處理后，計(jì)算每個(gè)數(shù)據(jù)特征與各個(gè)數(shù)據(jù)特征之間的互相關(guān)系數(shù)，找出存在明顯相關(guān)性并且呈現(xiàn)正相關(guān)性的數(shù)據(jù)特征，根據(jù)找出的數(shù)據(jù)特征的相關(guān)系數(shù)值來判斷數(shù)據(jù)是否異常；其余不具備明顯相關(guān)性的數(shù)據(jù)特征，利用非參數(shù)估計(jì)的Parzen窗方法進(jìn)行概率密度函數(shù)估計(jì)出各數(shù)據(jù)特征的概率密度，根據(jù)概率密度確定正常數(shù)據(jù)特征的區(qū)間，如果數(shù)據(jù)特征值超過區(qū)間值，則判斷為異常數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及環(huán)保領(lǐng)域中連續(xù)煙氣監(jiān)測系統(tǒng)數(shù)據(jù)異常的研究，尤其涉及到一種基于特征互相關(guān)性和概率密度的數(shù)據(jù)異常分析方法，其適用于各類生產(chǎn)制造業(yè)廢氣監(jiān)測系統(tǒng)。

背景技術(shù)

隨著現(xiàn)代工業(yè)程度的快速發(fā)展，環(huán)境污染和生態(tài)破壞日益嚴(yán)重引起了世界各國的廣泛關(guān)注。連續(xù)煙氣監(jiān)測系統(tǒng)CEMS(Continuous Emission Monitoring System,CEMS)作為一種監(jiān)控設(shè)備，可以連續(xù)、實(shí)時(shí)、在線監(jiān)測污染物排放總量的目標(biāo)。CMES作為污染物排放監(jiān)測中的重要組成部分得到了越來越多的重視。它不僅是智慧工廠的重要的研究方向，還可以在智慧城市、智能生產(chǎn)等智能系統(tǒng)中起著重要的作用。以往關(guān)于工廠生產(chǎn)廢氣監(jiān)測的研究，其主要是通過建立異常數(shù)據(jù)經(jīng)驗(yàn)判斷法，依靠經(jīng)驗(yàn)初步剔除可以的數(shù)據(jù)，并采用現(xiàn)場核定法，使用統(tǒng)計(jì)學(xué)二次判定。以往對于工廠廢氣數(shù)據(jù)并沒有做出深入的探究；由于廢氣采樣數(shù)據(jù)通道較多，數(shù)據(jù)較為復(fù)雜，找出其中異常數(shù)據(jù)也較為困難。基于工廠中連續(xù)煙氣監(jiān)測系統(tǒng)多路傳感器采集到的工廠廢氣數(shù)據(jù)，在不改變原有數(shù)據(jù)和設(shè)備基礎(chǔ)上完成對廢氣數(shù)據(jù)的分析，并找到生產(chǎn)中存在的異常數(shù)據(jù)。

市場上現(xiàn)有的CEMS連續(xù)煙氣監(jiān)測系統(tǒng)，由于設(shè)備簡單、系統(tǒng)不夠完善等問題，對于異常數(shù)據(jù)常采用經(jīng)驗(yàn)判斷法，現(xiàn)場情況核定等。傳統(tǒng)的判別方法主要是依靠經(jīng)驗(yàn)，易產(chǎn)生誤判漏判，并且效率不高。

因此，如何基于采集到的環(huán)保數(shù)據(jù)，從中找出異常數(shù)據(jù)對于工廠生產(chǎn)具有指導(dǎo)意義。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)中存在的不足，提供一種基于特征互相關(guān)性和概率密度的數(shù)據(jù)異常分析方法。

為達(dá)到上述目的，本發(fā)明提供了一種基于特征互相關(guān)性和概率密度的數(shù)據(jù)異常分析方法，基于連續(xù)煙氣監(jiān)測系統(tǒng)CEMS采集到廢氣污染物數(shù)據(jù)，進(jìn)行篩選和預(yù)處理后，計(jì)算每個(gè)數(shù)據(jù)特征與各個(gè)數(shù)據(jù)特征之間的互相關(guān)系數(shù)，找出存在明顯相關(guān)性并且呈現(xiàn)正相關(guān)性的數(shù)據(jù)特征，根據(jù)找出的數(shù)據(jù)特征的相關(guān)系數(shù)值來判斷數(shù)據(jù)是否異常；

其余不具備明顯相關(guān)性的數(shù)據(jù)特征，利用非參數(shù)估計(jì)的Parzen窗方法進(jìn)行概率密度函數(shù)估計(jì)出各數(shù)據(jù)特征的概率密度，根據(jù)概率密度確定正常數(shù)據(jù)特征的區(qū)間，如果數(shù)據(jù)特征值超過區(qū)間值，則判斷為異常數(shù)據(jù)。

基于上述，所述篩選和預(yù)處理包括：

所述篩選為刪除和過濾數(shù)據(jù)中的缺失值，所述預(yù)處理為篩選后的數(shù)據(jù)進(jìn)行包括均值、方差、最小值、最大值、中位數(shù)和分位數(shù)的統(tǒng)計(jì)值描述。

基于上述，按照以下方式計(jì)算每個(gè)數(shù)據(jù)特征與各個(gè)數(shù)據(jù)特征之間的互相關(guān)系數(shù)，如公式(1)所示：

其中i,k∈{1，2，…}，i≠k，利用公式(1)，當(dāng)i＝1時(shí)，即特征1與其余特征之間相關(guān)性表達(dá)式為：

ρ_1k＝corrcoef[feature(1)feature(k)]

當(dāng)i＝{2，3，…}，同理求出其余特征之間的互相關(guān)系數(shù)。

基于上述，根據(jù)概率密度確定正常數(shù)據(jù)特征的區(qū)間的方法：

選擇選擇正態(tài)窗函數(shù)，如公式(2)所示，為核函數(shù)，進(jìn)行數(shù)據(jù)特征的概率密度估計(jì)；