[發明專利]基于改進SOM算法的數據智能檢測方法及裝置

有效

• 申請號: 202010575124.8
• 申請日: 2020-06-22
• 公開（公告）號: CN111767273B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 胡偉;郭秋婷;黃建平;陳浩;盛銀波
• 申請（專利權）人: 清華大學;國網浙江省電力有限公司嘉興供電公司;國家電網有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F18/2321;G06N3/088;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

本發明公開了一種基于改進SOM算法的數據智能檢測方法及裝置，其中，該方法包括：獲取樣本集，將樣本集按維度分解，逐維進行基于密度的一維孤立點檢測，將多維樣本集按維度對離群點進行初步篩選，剔除離群點；通過基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；通過核函數法對基于自組織特征映射算法進行改進，通過改進后的基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；根據專家經驗剔除樣本集中的異常數據點，完成數據的智能檢測。該方法利用基于密度的一維孤立點檢測能夠剔除異常數據，提高數據質量，將核函數引用到自組織映射算法的權值更新中能減少樣本數據非線性的影響，提高了SOM算法的聚類效果。

技術領域

本發明涉及大數據智能檢測技術領域，特別涉及一種基于改進SOM算法的數據智能檢測方法及裝置。

背景技術

在設備上安裝各類傳感器等數據采集裝置，可以采集設備運行數據，監測設備運行狀態。由于系統復雜、環境惡劣等因素，使得系統采集到的數據具有非線性強、噪聲大、極不穩定等特點。因此，異常數據檢測是數據預處理中的重要步驟之一。

異常數據又稱為離群點。異常數據可能是由于設備故障、人為測量有誤等原因導致的錯誤數據，也可能是與實際對應的有意義的事件。錯誤數據對系統運行存在不利的影響。假如不及時發現和剔除錯誤數據，可能會對設備造成損壞，對系統運行帶來潛在的隱患。

現有自動化業務系統數據采集中斷、缺失、采集偏差等現象普遍存在?；A數據檢測的任務繁重，而目前系統自我檢測能力不足，主要是依賴人工檢測。人工檢錯不僅會耗費大量的人力和時間，而且也無法保證人工檢錯的準確度。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于改進SOM算法的數據智能檢測方法，該方法利用基于密度的一維孤立點檢測能夠剔除異常數據，提高數據質量，將核函數引用到自組織映射算法的權值更新中能減少樣本數據非線性的影響，提高了SOM算法的聚類效果。

本發明的另一個目的在于提出一種基于改進SOM算法的數據智能檢測裝置。

為達到上述目的，本發明一方面實施例提出了一種基于改進SOM算法的數據智能檢測方法，包括：

獲取樣本集，將所述樣本集按維度分解，逐維進行基于密度的一維孤立點檢測，將多維樣本集按維度對離群點進行初步篩選，剔除離群點；

通過基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；

通過核函數法對所述基于自組織特征映射算法進行改進，通過改進后的基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；

根據專家經驗剔除樣本集中的異常數據點，完成數據的智能檢測。

為達到上述目的，本發明另一方面實施例提出了一種基于改進SOM算法的數據智能檢測裝置，包括：

第一剔除模塊，用于獲取樣本集，將所述樣本集按維度分解，逐維進行基于密度的一維孤立點檢測，將多維樣本集按維度對離群點進行初步篩選，剔除離群點；

第二剔除模塊，用于通過基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；

第三剔除模塊，用于通過核函數法對所述基于自組織特征映射算法進行改進，通過改進后的基于自組織特征映射算法對樣本集進行聚類，剔除異常數據點；

智能檢測模塊，用于根據專家經驗剔除樣本集中的異常數據點，完成數據的智能檢測。

本發明的技術方案具有以下技術效果：

(1)建立了基于密度和改進自組織特征映射算法的數據智能檢測方法，能夠剔除異常數據，提高數據質量。