[發明專利]一種基于近鄰自編碼器的近鄰異常檢測系統

在審

• 申請號: 202011243520.7
• 申請日: 2020-11-10
• 公開（公告）號: CN112348090A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 馬帥;劉叔正
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 牛雅芳

本發明通過人工智能領域的方法，實現了一種基于近鄰自編碼器的近鄰異常檢測系統，系統設計針對KNN的降維?檢測框架，通過輸入模塊導入異常數據集，經過所述KNN的降維?檢測框架運算后，通過輸出模塊輸出異常得分，系統由參數選擇方案確定其系統參數，運行過程為首先通過KD?tree計算每個數據點的近鄰點組成的近鄰集合，將近鄰集合和原始數據輸入基于神經網路結構設計的近鄰自編碼器進行降維計算，獲得保持近鄰關系的低維數據嵌入和每個點的重構誤差，將數據嵌入和重構誤差輸入到K?重構?近鄰檢測器，得出異常分。系統可以充分適應檢測器的特點與檢測器緊密配合，有效避免了高維數據下檢測器性能的下降。

技術領域

本發明涉及人工智能領域，尤其涉及一種基于近鄰自編碼器的近鄰異常檢測系統。

背景技術

異常檢測是在數據集中發現其行為與預期不正常的模式的過程。異常檢測算法的應用背景包括：

信息安全系統：在許多計算機系統中，系統會記錄許多數據，例如操作系統調用、網絡流量或其他用戶行為的不同類型的數據等。這些數據經常會由于惡意活動表現出異常特征。這種活動的識別被稱為入侵檢測。

信用卡欺詐：由于信用卡號碼等敏感信息更容易被竊取，信用卡欺詐已經變得越來越普遍。在許多情況下，未經授權使用信用卡可能會表現出不同的模式，例如在特定地點瘋狂購物或進行非常大的交易。這種模式可用于檢測信用卡交易數據中的異常值。

傳感器檢測：在許多實際應用中，傳感器通常用于跟蹤各種環境和位置參數。潛在模式的突然變化可能代表一些值得關注的事件。事件檢測是傳感器網絡領域的重要應用之一。傳感器檢測是異常檢測的一種重要的時間序列檢測應用。

醫學診斷：在許多醫學應用中，數據是從各種設備中收集的，如磁共振成像(MRI)掃描、正電子發射斷層掃描(PET)掃描或心電圖(ECG)時間序列。這些數據中不尋常的模式通常反映疾病狀況。

法律領域：異常檢測在法律領域中有許多應用，特別是在只有通過某種實體的多個動作才能發現不尋常模式的情況下。要確定金融交易、交易活動或保險索賠中的欺詐行為，通常需要識別犯罪實體行為產生的數據中的異常模式。

地球科學：大量關于天氣模式、氣候變化或土地覆蓋模式的時空數據是通過衛星或遙感等各種機制收集的。這些數據中的異常現象為人類活動或可能是潛在原因的環境趨勢提供了重要的信息。

在所有這些應用中，數據都有一個“正常”模型，異常被認為是偏離了這個正常模型。異常檢測即檢測此種偏離的數據挖掘技術這些意外的行為也被稱為異常或異常值。異常檢測在各種應用背景下都可以提供許多重要和關鍵的信息，例如信用卡盜竊或身份盜竊。根據大多數研究資料，異常點是指與其余數據有顯著差異的數據點，Hawkins對異常的定義如下：“異常點是一種觀察結果，它與其他觀察結果的偏差如此之大，以至于引起懷疑，認為它是由不同的機制產生的。”當生成過程表現異常時，會導致異常值的產生。因此，異常值通常包含有關影響數據生成過程的系統和實體的異常特征的有用信息。識別這種不尋常的特征為不同背景下的數據分析提供了參考。

異常檢測有廣泛的應用領域，但在不同領域中的異常定義卻包含相同的特征：檢測出不滿足數據集中大部分數據共同特征的數據。其分為經典檢測方法和嵌入檢測方法。

經典異常檢測方法

經典異常檢測方法可以分為統計方法、基于距離方法、基于密度方法、基于聚類方法、基于圖的方法、基于集成(ensemble-based)的方法、基于深度學習的方法。如果按數據類型分類，則可以分為數值數據、類別數據、圖像數據、文本數據、圖數據、時序數據等。