[發(fā)明專利]基于彈性網(wǎng)絡(luò)的序列集成高維數(shù)據(jù)異常檢測(cè)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911076540.7
• 申請(qǐng)日: 2019-11-06
• 公開（公告）號(hào): CN110941542B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 陳南;錢偲書;張晶;張露維;宋軼慧;劉文意;陳晨;邵佳煒;李科心;李靜
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)上海市電力公司;南京航空航天大學(xué);國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34
• 代理公司: 北京中巡通大知識(shí)產(chǎn)權(quán)代理有限公司 11703
• 代理人: 張弘

1.一種基于彈性網(wǎng)絡(luò)的集成高維數(shù)據(jù)異常檢測(cè)系統(tǒng)，其特征在于，該系統(tǒng)包括對(duì)應(yīng)于高維數(shù)據(jù)中每一維度的單層系統(tǒng)和與所述每一維度的單層系統(tǒng)連接的總成集成模塊；

所述單層系統(tǒng)包括：

數(shù)據(jù)模塊，用于接收高維數(shù)據(jù)中每一維度的單層初始數(shù)據(jù)；

異常打分模塊，第一輸入端與所述數(shù)據(jù)模塊連接，用于對(duì)所述單層初始數(shù)據(jù)進(jìn)行第一次異常打分，獲得所述單層初始數(shù)據(jù)中的異常得分向量；

選擇模塊，輸入端與所述異常打分模塊的第一輸出端連接，用于根據(jù)所述異常得分向量對(duì)所述單層初始數(shù)據(jù)進(jìn)行選擇，獲得異常數(shù)據(jù)集；

彈性網(wǎng)絡(luò)模塊，輸入端與所述選擇模塊連接，輸出端與所述異常打分模塊的第二輸入端連接，用于根據(jù)所述異常得分向量對(duì)所述異常數(shù)據(jù)集進(jìn)行特征提取，生成特征向量和均方誤差；

所述異常打分模塊進(jìn)一步用于對(duì)所述特征向量和所述均方誤差進(jìn)行第二次異常打分，獲取分?jǐn)?shù)異常的異常特征向量；

單層集成模塊，與所述異常打分模塊的第二輸出端連接，用于對(duì)輸出的均方誤差和所述異常特征向量進(jìn)行第一次集成，獲得單層異常結(jié)果；

所述總成集成模塊與所述每個(gè)單層系統(tǒng)的單層集成模塊連接，對(duì)各單層系統(tǒng)輸出的所述單層異常結(jié)果進(jìn)行第二次集成，獲得最終異常結(jié)果。

2.一種基于彈性網(wǎng)絡(luò)的集成高維數(shù)據(jù)異常檢測(cè)方法，其特征在于，該方法包括以下步驟：

接收高維數(shù)據(jù)中每一維度的單層初始數(shù)據(jù)，并對(duì)所述單層初始數(shù)據(jù)進(jìn)行第一次異常打分，獲得所述單層初始數(shù)據(jù)中的異常得分向量；

根據(jù)所述異常得分向量對(duì)所述單層初始數(shù)據(jù)進(jìn)行選擇，獲得異常數(shù)據(jù)集；

根據(jù)所述異常得分向量對(duì)所述異常數(shù)據(jù)集進(jìn)行特征提取，生成特征向量和均方誤差；

根據(jù)所述特征向量和所述均方誤差進(jìn)行第二次異常打分，獲取分?jǐn)?shù)異常的異常特征向量；

對(duì)輸出的所述均方誤差和所述異常特征向量進(jìn)行第一次集成，獲得每個(gè)維度的單層異常結(jié)果；

對(duì)各維度的所述單層異常結(jié)果進(jìn)行第二次集成，獲得最終異常結(jié)果。

3.在權(quán)利要求2所述的基于彈性網(wǎng)絡(luò)的集成高維數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述單層初始數(shù)據(jù)為，i=1,2,3...N，且滿足：

其中，M為所述單層初始數(shù)據(jù)中的特征個(gè)數(shù)；高維數(shù)據(jù)為，且滿足：

其中，N為高維數(shù)據(jù)中的維度數(shù)。

4.如權(quán)利要求2所述的基于彈性網(wǎng)絡(luò)的集成高維數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述第一次異常打分和/或第二次異常打分是基于隔離森林的方式，所述基于隔離森林的方式包括：采樣、建立隔離樹、計(jì)算路徑長(zhǎng)度、對(duì)路徑長(zhǎng)度歸一化。

5.如權(quán)利要求2所述的基于彈性網(wǎng)絡(luò)的集成高維數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述根據(jù)所述異常得分向量對(duì)所述單層初始數(shù)據(jù)進(jìn)行選擇，獲得異常數(shù)據(jù)集，包括以下步驟：

計(jì)算所述異常得分向量的期望和方差；

根據(jù)所述期望和方差計(jì)算異常值候選函數(shù)；所述異常值候選函數(shù)為，且滿足：

其中，為每層中選擇模塊設(shè)置的閾值；為方差的平方根；

根據(jù)所述期望和方差采用切比雪夫不等式對(duì)所述異常得分向量進(jìn)行選擇判斷，判斷結(jié)果，且滿足：

其中，為任意足夠小的正數(shù)，且滿足；

根據(jù)所述判斷結(jié)果對(duì)所述異常得分向量進(jìn)行選擇區(qū)分，生成異常數(shù)據(jù)集C，且滿足：

。