[發(fā)明專利]數(shù)據(jù)處理方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110678862.X
• 申請日: 2021-06-18
• 公開（公告）號: CN113420804A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計）人: 鄭忠斌;王朝棟;彭新
• 申請（專利權(quán)）人: 工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心（上海）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海晨皓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31260
• 代理人: 成麗杰

本發(fā)明實施方式涉及通信技術(shù)領(lǐng)域，公開了一種數(shù)據(jù)處理方法，包括：獲取目標(biāo)數(shù)據(jù)集，采用最短分叉樹粗糙聚類算法對目標(biāo)數(shù)據(jù)集進(jìn)行粗糙聚類，根據(jù)粗糙聚類結(jié)果形成多個最短分叉樹；采用基于粗糙聚類鄰域信息系統(tǒng)的閾值剪枝算法對最短分叉樹進(jìn)行剪枝與合并，得到精簡后的最短分叉樹；采用均衡融合數(shù)據(jù)局部多特征因子的異常值檢測算法計算精簡后的最短分叉樹中數(shù)據(jù)對象的異常度，并根據(jù)異常度確定并剔除目標(biāo)數(shù)據(jù)集中的異常數(shù)據(jù)值。本發(fā)明實施方式還公開了一種數(shù)據(jù)處理裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)。本發(fā)明實施方式公開的數(shù)據(jù)處理方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)，可以剔除原始數(shù)據(jù)中的異常數(shù)據(jù)值，提高數(shù)據(jù)分析的效率和決策的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)。

背景技術(shù)

企業(yè)在進(jìn)行決策時，如果先對數(shù)據(jù)進(jìn)行分析，則可以使決策更加科學(xué)和準(zhǔn)確。然而，一方面，由于信息技術(shù)的發(fā)展，企業(yè)產(chǎn)生的數(shù)據(jù)越來越多，企業(yè)在進(jìn)行決策時如果對數(shù)據(jù)進(jìn)行分析往往需要面對大量的數(shù)據(jù)；另一方面，目前大多數(shù)企業(yè)還是依賴以經(jīng)驗或傳統(tǒng)的數(shù)據(jù)分析手段，運用這些數(shù)據(jù)分析手段對大量的數(shù)據(jù)進(jìn)行分析來獲取其潛在規(guī)律或變化時，分析的效率較低，還會因為存在主觀方面的差異而使得分析結(jié)果不夠準(zhǔn)確，影響決策的準(zhǔn)確性。特別地，若原始數(shù)據(jù)中存在異常數(shù)據(jù)值，在進(jìn)行數(shù)據(jù)分析時未剔除異常數(shù)據(jù)值，則可能會使數(shù)據(jù)分析出現(xiàn)不可逆的偏差，嚴(yán)重影響分析結(jié)果的準(zhǔn)確性，導(dǎo)致決策出現(xiàn)重大失誤。

發(fā)明內(nèi)容

本發(fā)明實施方式的目的在于提供一種數(shù)據(jù)處理方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)，可以剔除原始數(shù)據(jù)中的異常數(shù)據(jù)值，提高數(shù)據(jù)分析的效率和決策的準(zhǔn)確性。

為解決上述技術(shù)問題，本發(fā)明的實施方式提供了一種數(shù)據(jù)處理方法，包括：獲取目標(biāo)數(shù)據(jù)集，采用最短分叉樹粗糙聚類算法對目標(biāo)數(shù)據(jù)集進(jìn)行粗糙聚類，根據(jù)粗糙聚類結(jié)果形成多個最短分叉樹；采用基于粗糙聚類鄰域信息系統(tǒng)的閾值剪枝算法對最短分叉樹進(jìn)行剪枝與合并，得到精簡后的最短分叉樹；采用均衡融合數(shù)據(jù)局部多特征因子的異常值檢測算法計算精簡后的最短分叉樹中數(shù)據(jù)對象的異常度，并根據(jù)異常度確定并剔除目標(biāo)數(shù)據(jù)集中的異常數(shù)據(jù)值。

本發(fā)明的實施方式還提供了一種數(shù)據(jù)處理裝置，包括：聚類模塊，用于獲取目標(biāo)數(shù)據(jù)集，采用最短分叉樹粗糙聚類算法對目標(biāo)數(shù)據(jù)集進(jìn)行粗糙聚類，根據(jù)粗糙聚類結(jié)果形成多個最短分叉樹；處理模塊，用于采用基于粗糙聚類鄰域信息系統(tǒng)的閾值剪枝算法對最短分叉樹進(jìn)行剪枝與合并，得到精簡后的最短分叉樹；確定模塊，用于采用均衡融合數(shù)據(jù)局部多特征因子的異常值檢測算法計算精簡后的最短分叉樹中數(shù)據(jù)對象的異常度，并根據(jù)異常度確定并剔除目標(biāo)數(shù)據(jù)集中的異常數(shù)據(jù)值。

本發(fā)明的實施方式還提供了一種網(wǎng)絡(luò)設(shè)備，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執(zhí)行的指令，指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行上述的數(shù)據(jù)處理方法。

本發(fā)明的實施方式還提供了一種計算機可讀存儲介質(zhì)，存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)上述的數(shù)據(jù)處理方法。

本發(fā)明實施方式相對于相關(guān)技術(shù)而言，通過采用最短分叉樹粗糙聚類算法對目標(biāo)數(shù)據(jù)集進(jìn)行粗糙聚類形成多個最短分叉樹，然后采用粗糙聚類鄰域信息系統(tǒng)的閾值剪枝算法對最短分叉樹進(jìn)行剪枝與合并，再利用均衡融合數(shù)據(jù)局部多特征因子的異常值檢測算法計算最短分叉樹中數(shù)據(jù)對象的異常度，根據(jù)數(shù)據(jù)對象的異常度確定并剔除異常數(shù)據(jù)值。由于是采用算法對目標(biāo)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行自動分析，因此可以提高數(shù)據(jù)分析的效率；同時，由于均衡融合數(shù)據(jù)局部多特征因子的異常值檢測算法，對標(biāo)準(zhǔn)局部異常因子引入局部相對接近度來替換數(shù)據(jù)對象的局部可及密度，將鄰域離散程度與距離計算比率調(diào)整為適合粗糙聚類的計算方式，引入變異系數(shù)表征類內(nèi)離散程度，因此可以準(zhǔn)確定量分析數(shù)據(jù)對象的異常度，從而根據(jù)異常度確定并剔除原始數(shù)據(jù)(即目標(biāo)數(shù)據(jù)集)中的異常數(shù)據(jù)值，提高分析結(jié)果以及決策的準(zhǔn)確性。