[發明專利]一種數據異常檢測方法、裝置及設備

有效

• 申請號: 201811204477.6
• 申請日: 2018-10-16
• 公開（公告）號: CN109409519B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 王謙;李三琦;胡波;蘭文勇
• 申請（專利權）人: 三星（中國）半導體有限公司;三星電子株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張軍;曾世驍

提供一種數據異常檢測方法、裝置及設備。該數據異常檢測方法包括：在預先確定的檢測模型每一深度包括的神經元中，確定待檢測數據的最優匹配神經元，計算每一個最優匹配神經元對應的輔助神經元，根據每一個最優匹配神經元對應的輔助神經元確定所述待檢測數據的異常度。其中，輔助神經元包括第一輔助神經元，所述第一輔助神經元是根據所述待檢測數據中第一距離不小于最優匹配神經元半徑的數據子集確定的，第一距離為所述待檢測數據到最優匹配神經元的距離。根據本發明的數據異常檢測方法、裝置及設備可提高檢測的準確率。

技術領域

本發明涉及物聯網領域。更具體地，本發明涉及一種應用于物聯網邊緣的數據異常檢測方法、裝置及設備。

背景技術

數據異常檢測是以數據為驅動的物聯網領域的重要研究方向之一。在物聯網中，傳感器采集的數據通常會首先在網關一側匯集，然后由網關進一步向云端傳送，最終用以進行以數據分析為基礎的商業智能挖掘。顯然，如果能在網關發出數據之前辨識出數據中的異常，避免異常數據流向云端，那么將有助于云端進行更準確的業務分析，也將大大減少云端的業務負擔。

然而，由于在物聯網邊緣，尤其是終端傳感器節點設備，通常不具備很好的硬件資源配置，這些設備在處理本身業務的同時，額外進行數據異常檢測是有一定難度的。

為了解決這個問題，現有技術大多采用基于統計特征的“控制圖”方法或者基于數據挖掘的“先訓練，后部署”的方法。

“控制圖”方法是基于待檢測數據的統計特征對異常點進行估計的方法。該方法雖然算法較為輕量并且易于部署在物聯網邊緣，但是無法挖掘多變量序列之間的關聯，因而對于物聯網領域豐富多變的數據源難以表現出較優的檢測效果，從而使得數據異常檢測的精確性不高。

基于數據挖掘的“先訓練，后部署”的方法遵循機器學習的理念，雖然可以通過收集大量數據進行模型訓練，并將訓練好的模型部署于設備之中，使得設備具有模式識別能力，但是，其部署后的模型無法應對數據模式的改變。如果數據的模式發生變化，那么先前部署的模型可能會過時。在這種情況下，新一輪的訓練必須從頭開始，以彌補訓練與現實之間的差距。也就是說，只有通過不斷迭代地完成“先從頭訓練，后部署”的過程，才能夠避免所部署的模型“過時”。這不僅耗費精力，而且總是存在滯后的錯誤。一旦模型更新不及時，就有可能對實際應用中的數據模式發生誤判。

發明內容

本發明的示例性實施例在于提供一種數據異常檢測方法、裝置及設備，以解決傳統的數據異常檢測方法無法應對數據模式的改變、模型更新不及時、數據異常檢測的精確性不高的問題。

根據本發明的示例性實施例，提供一種數據異常檢測方法，包括：在預先確定的檢測模型每一深度包括的神經元中，確定待檢測數據的最優匹配神經元；計算每一個最優匹配神經元對應的輔助神經元，所述輔助神經元包括第一輔助神經元，所述第一輔助神經元是根據所述待檢測數據中第一距離不小于最優匹配神經元半徑的數據子集確定的，其中，所述第一距離為所述待檢測數據到所述最優匹配神經元的距離；根據每一個最優匹配神經元對應的輔助神經元確定所述待檢測數據的異常度。所述方法通過使用輔助神經元，提高了檢測的準確率。

可選地，所述輔助神經元還包括第二輔助神經元，所述第二輔助神經元是根據對應的最優匹配神經元的訓練數據子集，以及所述待檢測數據中所述第一距離小于所述最優匹配神經元半徑的數據子集確定的，從而可提高檢測的準確率。

可選地，計算每一個最優匹配神經元對應的輔助神經元的步驟包括：根據所述第一距離和所述最優匹配神經元半徑，確定所述最優匹配神經元的第一數據子集和第二數據子集；根據所述第一數據子集和所述第二數據子集，確定所述第一輔助神經元和所述第二輔助神經元。這樣，可快速、準確地得到第一輔助神經元和所述第二輔助神經元。