[發明專利]一種數據異常檢測方法、系統及具有該系統的服務器

有效

• 申請號: 201710016096.4
• 申請日: 2017-01-10
• 公開（公告）號: CN106778904B
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 牛昕宇
• 申請（專利權）人: 上海鯤云信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/215
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

本發明提供一種數據異常檢測方法，應用于電子設備，所述數據異常檢測方法包括以下步驟：步驟一，基于預存的單階支持向量機和已建立的運行數據模型，決策與運行數據模型對應的硬件結構的運行數據，以區分硬件結構的運行數據中的異常數據和正常數據；步驟二，對區分出的異常數據進行投票，以確定區分出的異常數據中是否存在將正常數據錯誤標記為異常數據，若是，將錯誤標記成異常數據的運行數據重新標記為正常數據。本發明可以達到與基于人工監督系統類似的準確度，大大高于經典異常檢測的準確率，相較于基于人工監督的異常檢測，應用本發明所提出的異常檢測方法的服務器無需人為監督，大大降低了服務器的實用性。

技術領域

本發明屬于機器學習技術領域，涉及一種檢測方法及系統，特別是涉及一種數據異常檢測方法、系統及具有該系統的服務器。

背景技術

異常檢測是機器學習領域的一個重要研究方向。在金融、網絡安全等領域，通過學習大量歷史數據，異常檢測算法能夠區分正常數據與異常數據，從而對于異常問題進行預警。異常檢測通常采用支持向量機方法來解決。請參閱圖1，顯示為現有異常檢測算法的檢測結果的平面示意圖。如圖1所示，異常檢測算法將檢測數據映射至多維空間中，并使用超平面分別正常數據與異常數據。基于支持向量機的異常檢測的訓練數據中的大部分為正常數據，通過訓練建立超平面。檢測中映射至超平面之外的數據點為異常數據，如圖1所示。2014年暴露的心臟出血漏洞(heartbleed bug)暴露了現有異常檢測的缺陷：盡管在檢測已知數據模式方面非常有效，其無法檢測未知的數據模式。

概念漂移是異常檢測需要面對的第一個挑戰。由于數據在測試過程中，其特性、模式時刻在發生改變，正確分類數據的超平面也做出對應改變。請參閱圖2，顯示為現有異常檢測算法隨時間的變化發送超平面變化的示意圖。如圖2所示，隨著測試時間，超平面T時刻在發生改變。基于已知數據模式訓練的檢測差平面其在檢測完成后固定不變，無法做出實時的改變。對著測試時實際超平面的改變，概念漂移會導致檢測失誤，無法檢測已知問題。

因此，如何提供一種數據異常檢測方法、系統及具有該系統的服務器，以解決現有異常檢測技術無法做出實時改變，若在測試時出現實際超平面發生改變的情況時，會產生概念漂移，而導致檢測失誤等種種缺陷，實已成為本領域從業者亟待解決的技術問題。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種數據異常檢測方法、系統及具有該系統的服務器，用于解決現有異常檢測技術無法做出實時改變，若在測試時出現實際超平面發生改變的情況時，會產生概念漂移，而導致檢測失誤的問題。

為實現上述目的及其他相關目的，本發明一方面提供一種數據異常檢測方法，應用于電子設備，所述數據異常檢測方法包括以下步驟：步驟一，基于預存的單階支持向量機和已建立的運行數據模型，決策與運行數據模型對應的硬件結構的運行數據，以區分硬件結構的運行數據中的異常數據和正常數據；步驟二，對區分出的異常數據進行投票，以確定區分出的異常數據中是否存在將正常數據錯誤標記為異常數據，若是，將錯誤標記成異常數據的運行數據重新標記為正常數據。

于本發明的一實施例中，所述電子設備中硬件結構的運行數據包括運行數據的數據索引及運行數據的數據值。

于本發明的一實施例中，所述步驟一包括：使用運行數據的數據索引對其運行數據的數據值，及對應的運行數據模型的支持向量；讀取已建立的運行數據模型的支持向量，根據所述單階支持向量機中的決策函數的計算結果來決策與運行數據模型對應的硬件結構的運行數據。