[發(fā)明專利]一種基于改進(jìn)的孤立森林算法和高斯分布的聯(lián)合數(shù)據(jù)異常檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010402904.2
• 申請(qǐng)日: 2020-05-13
• 公開(kāi)（公告）號(hào): CN111666169B
• 公開(kāi)（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 田園;原野;馬文;黃祖源;郭一翰
• 申請(qǐng)（專利權(quán)）人: 云南電網(wǎng)有限責(zé)任公司信息中心
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07;G06F18/10;G06F18/2321;G06F18/2415
• 代理公司: 昆明人從眾知識(shí)產(chǎn)權(quán)代理有限公司 53204
• 代理人: 王娟

本發(fā)明涉及一種基于改進(jìn)的孤立森林算法和高斯分布的聯(lián)合數(shù)據(jù)異常檢測(cè)方法，屬于數(shù)據(jù)異常檢測(cè)技術(shù)領(lǐng)域。本發(fā)明通過(guò)對(duì)平臺(tái)數(shù)據(jù)進(jìn)行分析，采用一種改進(jìn)的孤立森林與高斯分布的聯(lián)合檢測(cè)模型進(jìn)行數(shù)據(jù)異常檢測(cè)，針對(duì)工業(yè)互聯(lián)網(wǎng)平臺(tái)的連續(xù)與離散兩類特征，采用高斯分布與孤立森林結(jié)合的檢測(cè)模型，在工業(yè)互聯(lián)網(wǎng)平臺(tái)上對(duì)工業(yè)控制系統(tǒng)進(jìn)行準(zhǔn)確實(shí)時(shí)的異常檢測(cè)，及時(shí)發(fā)現(xiàn)系統(tǒng)的異常狀態(tài)。并對(duì)本發(fā)明訓(xùn)練的基于孤立森林和高斯分布結(jié)合的模型檢測(cè)效果與單一的高斯分布或者孤立森林模型的檢測(cè)效果進(jìn)行對(duì)比。在服務(wù)器平臺(tái)數(shù)據(jù)異常的檢測(cè)中提高了數(shù)據(jù)異常檢測(cè)的效率，更快的發(fā)現(xiàn)異常，節(jié)省了時(shí)間成本，具有廣闊的應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于改進(jìn)的孤立森林算法和高斯分布的聯(lián)合數(shù)據(jù)異常檢測(cè)方法，屬于業(yè)務(wù)監(jiān)控服務(wù)器平臺(tái)數(shù)據(jù)異常檢測(cè)技術(shù)領(lǐng)域。

背景技術(shù)

服務(wù)器是計(jì)算機(jī)的一種，它比普通計(jì)算機(jī)運(yùn)行更快、負(fù)載更高、價(jià)格更貴。服務(wù)器在網(wǎng)絡(luò)中為其它客戶機(jī)(如PC機(jī)、智能手機(jī)、ATM等終端甚至是火車系統(tǒng)等大型設(shè)備)提供計(jì)算或者應(yīng)用服務(wù)。服務(wù)器平臺(tái)數(shù)據(jù)是由數(shù)據(jù)采集器采集得到的，包括工業(yè)控制系統(tǒng)現(xiàn)場(chǎng)設(shè)備層、控制系統(tǒng)以及網(wǎng)絡(luò)層的數(shù)據(jù)，這些數(shù)據(jù)包含著很多重要的信息，其中最重要的是可以從這些信息中分析出服務(wù)器系統(tǒng)的異常狀態(tài)，服務(wù)器系統(tǒng)的一個(gè)異常事件很有可能造成巨大的生產(chǎn)經(jīng)濟(jì)損失，甚至嚴(yán)重的危害人們的生命健康安全。現(xiàn)有技術(shù)中對(duì)服務(wù)器數(shù)據(jù)異常的判斷方法大多為服務(wù)器系統(tǒng)平臺(tái)需要通過(guò)對(duì)采集到的控制系統(tǒng)和網(wǎng)絡(luò)層的數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)系統(tǒng)是否存在異常，而平臺(tái)數(shù)據(jù)大多是高維且含有噪聲的數(shù)據(jù)，在對(duì)異常進(jìn)行檢測(cè)的模型訓(xùn)練過(guò)程中，高維的數(shù)據(jù)會(huì)使模型的準(zhǔn)確率降低，計(jì)算復(fù)雜度高，無(wú)法很好的檢測(cè)出異常，因此必須對(duì)高維的數(shù)據(jù)做降維處理，通常對(duì)服務(wù)器平臺(tái)數(shù)據(jù)進(jìn)行降維處理的方法主要為PCA主成分分析方法，但是由于不考慮分類信息，因此，降低維度后，信息損失雖然降到很低，但分類上可能會(huì)變得更加困難。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于改進(jìn)的孤立森林算法和高斯分布的聯(lián)合數(shù)據(jù)異常檢測(cè)方法，用以解決上述問(wèn)題。

本發(fā)明的技術(shù)方案是：一種基于改進(jìn)的孤立森林算法和高斯分布的聯(lián)合數(shù)據(jù)異常檢測(cè)方法，具體步驟為：

Step1：接入服務(wù)器平臺(tái)數(shù)據(jù)，選取兩個(gè)線性數(shù)據(jù)集A＝{x₁,x₂....x_i...x_n}和B＝{y₁,y₂.....y_j.....y_n}，其中x_i和y_i分別表示所選取的兩個(gè)數(shù)據(jù)集的線性數(shù)據(jù)，然后使用DBSCAN聚類算法發(fā)現(xiàn)噪聲點(diǎn)，并刪除這些噪聲點(diǎn)得到兩個(gè)新的數(shù)據(jù)集合A¹＝{x₁,x₂....x_i...x_o}和B¹＝{y₁,y₂.....y_j.....y_p}，從而實(shí)現(xiàn)對(duì)測(cè)試數(shù)據(jù)進(jìn)行去噪。