[發(fā)明專利]一種面向橋梁病害評級數(shù)據(jù)的去噪方法

有效

• 申請?zhí)枺?/td>: 201910327313.0
• 申請日: 2019-04-23
• 公開（公告）號: CN110083637B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 周揚(yáng)名;王凱;葉琪;阮彤;翟潔
• 申請（專利權(quán)）人: 華東理工大學(xué)
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面向橋梁病害評級數(shù)據(jù)的去噪方法，首先通過對樣本數(shù)據(jù)進(jìn)行兩兩比對獲得沖突對集合，然后根據(jù)樣本在沖突對集合中出現(xiàn)的次數(shù)，并結(jié)合樣本的輪廓系數(shù)，進(jìn)行噪音數(shù)據(jù)剔除，得到過濾后的數(shù)據(jù)集，緊接著使用stacking方法分別在原始數(shù)據(jù)集和過濾后的新數(shù)據(jù)集上對模型進(jìn)行訓(xùn)練，最后評估并比較兩模型的預(yù)測性能，以驗證本去噪方法的有效性，若確認(rèn)有效，便得到了一個干凈的數(shù)據(jù)集，具體步驟為：

S1、將原始數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行預(yù)處理得到數(shù)據(jù)集W₁，對W₁中無全序關(guān)系的特征進(jìn)行去除，獲得數(shù)據(jù)集W₂，所述原始數(shù)據(jù)集包含各個橋梁的基本信息，各個種類的橋梁病害信息及對應(yīng)的橋梁病害等級標(biāo)簽；

S2、根據(jù)數(shù)據(jù)集W₂，基于特征a_i的特征值a_i,j對不同標(biāo)簽的樣本進(jìn)行兩兩比較，構(gòu)造沖突對c_i；

S3、根據(jù)沖突對c_i構(gòu)造沖突集合C＝{c₁,c₂,…,c_N}，N是沖突集C的沖突對總數(shù)；

S4、統(tǒng)計沖突集合C中樣本s_k出現(xiàn)的頻次f_k，得到詞典D＝{s_k∶f_k}；

S5、將詞典D中的樣本按頻次由高到低進(jìn)行排序；

S6、對排序后前t％的樣本在數(shù)據(jù)集W₂中計算輪廓系數(shù)s(k)，刪除s(k)小于ε的樣本s_k，得到過濾后的新數(shù)據(jù)集W₃,同時刪除沖突對集合C中包含疑似噪音樣本s_k的沖突對，其中t為一個閾值，用于縮小需要計算的樣本數(shù)量；

S7、重復(fù)S4，S5，S6，直至步驟S6中無s(i)小于ε的樣本，ε的值為0；

S8、在數(shù)據(jù)集W₁和W₃上使用同一種機(jī)器學(xué)習(xí)算法分別訓(xùn)練出模型M₁和M₃，對兩個模型的橋梁病害等級預(yù)測性能進(jìn)行評估驗證，比較評估模型M₃的預(yù)測性能。

2.根據(jù)權(quán)利要求1所述的一種面向橋梁病害數(shù)據(jù)的去噪方法，其特征在于，所述的步驟S1具體包括：

S11、基于數(shù)據(jù)集W₁,使用熱卡填充方法，利用最相似樣本的值補(bǔ)足缺失特征值，最相似樣本的度量方法為其中a_i,j為數(shù)據(jù)集中第i個樣本的第j個特征的特征值，為缺失的特征值，Na是數(shù)據(jù)集W₂的總樣本數(shù)，i₀為最相似的樣本編號；

S12、刪除對標(biāo)簽值無影響的無用特征；

S13、刪除數(shù)據(jù)集W₁中特征值無全序關(guān)系的特征，得到數(shù)據(jù)集W₂。

3.根據(jù)權(quán)利要求1所述的一種面向橋梁病害數(shù)據(jù)的去噪方法，其特征在于，所述的步驟S2具體包括：

S21、數(shù)據(jù)集W₂的特征集合為A＝{a₁,a₂,…,a_Ni}，Ni是數(shù)據(jù)集W₂的特征總數(shù)；

S22、數(shù)據(jù)集特征a_i的特征值集合為D＝{a_i,1,a_i,2,…,a_i,Na}，Na是數(shù)據(jù)集W₂的總樣本數(shù)，也是特征a_i的特征值總數(shù)；

S23、首先判斷兩個樣本的標(biāo)簽，若相同，則跳過比較這兩個樣本，若標(biāo)簽不同，則對兩個樣本所有特征下的特征值一一對應(yīng)地比較大小，其計算公式：

若f(A,B)為真，則有A，B構(gòu)成沖突對(A,B)；

S24、選定第一個樣本，依次將后面的所有樣本按照步驟S23的方式與第一個樣本進(jìn)行比較，構(gòu)造沖突對，依次進(jìn)行下去，直至迭代到最后一個樣本，然后選定第二個樣本，依次將后面的所有樣本按照步驟S23的方式與第一個樣本進(jìn)行比較，構(gòu)造沖突對，依次進(jìn)行下去，直至迭代到最后一個樣本；同樣地，直到選定倒數(shù)第二個樣本比較完后停止迭代。