[發(fā)明專利]一種數(shù)據(jù)的聚類方法

在審

• 申請?zhí)枺?/td>: 201910539920.3
• 申請日: 2019-06-21
• 公開（公告）號: CN110232420A
• 公開（公告）日: 2019-09-13
• 發(fā)明（設(shè)計）人: 王偉;郭亮;儲澤楠;王雅淇;常慶麗;趙凱;韓毅
• 申請（專利權(quán)）人: 安陽工學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安陽金泰專利代理事務(wù)所(普通合伙) 41150
• 代理人: 王暉

1.一種數(shù)據(jù)的聚類方法，其特征在于：依次通過以下算法對數(shù)據(jù)聚類：屬性缺失補全算法、異常數(shù)據(jù)去噪算法、修復(fù)后的數(shù)據(jù)聚類算法，其中：

屬性缺失補全算法采用BP神經(jīng)網(wǎng)絡(luò)利用完整的數(shù)據(jù)集作為樣本集來進行訓練，進行缺失屬性值的預(yù)測補全，步驟如下：

輸入：樣本集D=;

輸出：樣本集B=；

具體的處理步驟如下：

1.1掃描數(shù)據(jù)集一遍，找出數(shù)據(jù)集的記錄數(shù)記做N，以及數(shù)據(jù)集中屬性不完整的數(shù)據(jù)集記做Q=；

1.2通過判斷N的大小，如果N是大于100000條記錄的數(shù)據(jù)，那么隨機選取20%作為神經(jīng)網(wǎng)絡(luò)的訓練樣本，如果N是小于等于100000條記錄的數(shù)據(jù)，則選取60%的數(shù)據(jù)集作為訓練樣本集；

1.3構(gòu)造三層BP神經(jīng)網(wǎng)絡(luò)模型，分別為輸入層，隱含層，和輸出層；

1.4網(wǎng)絡(luò)設(shè)置S型傳遞函數(shù)如下：

1.5設(shè)置反誤差輸出來不斷調(diào)節(jié)網(wǎng)絡(luò)權(quán)值和閾值使誤差函數(shù)E達到極小，其中誤差函數(shù)E設(shè)置函數(shù)如下：

其中t_i為期望輸出；Q_i為網(wǎng)絡(luò)的計算輸出；

1.6根據(jù)第二步中選取的所有樣本集，進行網(wǎng)絡(luò)的建模，該模型根據(jù)數(shù)據(jù)集的屬性作為輸入，輸出的節(jié)點個數(shù)設(shè)置為1，隱含層的設(shè)計使用經(jīng)驗公式：

其中m為輸入層神經(jīng)元個數(shù),n為輸出層神經(jīng)元個數(shù)，b為[1,10]之間的常數(shù)；本算法中設(shè)置b=3；

1.7網(wǎng)絡(luò)隱層和輸出層激勵函數(shù)分別為tansig和logsig函數(shù)，網(wǎng)絡(luò)訓練函數(shù)為traingdx,網(wǎng)絡(luò)性能函數(shù)為mse，網(wǎng)絡(luò)迭代次數(shù)epochs為50000次,期望誤差goal為0.000000001,學習速率lr為0.01；

1.8根據(jù)上述步驟網(wǎng)絡(luò)模型的設(shè)置構(gòu)造好網(wǎng)絡(luò)模型，進行模型的訓練并以此對

Q=中的缺失數(shù)據(jù)集進行預(yù)測，構(gòu)造成完整的數(shù)據(jù)集記做B=；

異常數(shù)據(jù)去噪算法步驟如下：

2.1從步驟1.8中得到完整的數(shù)據(jù)集B=，對數(shù)據(jù)采用K-means算法進行初始算法聚類；

2.2找出落在簇集合之外的點稱為離群點記做

2.3對每個離群點進行BP神經(jīng)網(wǎng)絡(luò)預(yù)測相應(yīng)的屬性值與現(xiàn)有的數(shù)值做對比，定義一個誤差范圍，如果大于給定的閥值就認為是噪聲點進行噪聲處理，最后形成無噪聲的數(shù)據(jù)集；

修復(fù)后的數(shù)據(jù)聚類算法：采用經(jīng)典的K-means算法進行聚類分析，具體步驟如下：

3.1從A中隨機選取k個樣本作為初始向量即為初始的簇中心記為向量，

3.2令

3.3循環(huán)，往下執(zhí)行；

3.4計算與各個向量的距離記做；

3.5根據(jù)距離最近的中心點確定的簇標記：；

3.6將樣本歸為相應(yīng)的簇：；

3.7結(jié)束循環(huán)；

3.8循環(huán)令，執(zhí)行；

3.9計算新的簇類向量；

3.10如果，這個時候需要將簇類向量更新為；

3.11否則保持當前簇類向量不變；

3.12結(jié)束循環(huán)，直到簇類向量不再變更為止。