[發明專利]一種面向橋梁病害評級數據的去噪方法

有效

• 申請號: 201910327313.0
• 申請日: 2019-04-23
• 公開（公告）號: CN110083637B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 周揚名;王凱;葉琪;阮彤;翟潔
• 申請（專利權）人: 華東理工大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面向橋梁病害評級數據的去噪方法，首先通過對樣本數據進行兩兩比對獲得沖突對集合，然后根據樣本在沖突對集合中出現的次數，并結合樣本的輪廓系數，進行噪音數據剔除，得到過濾后的數據集，緊接著使用stacking方法分別在原始數據集和過濾后的新數據集上對模型進行訓練，最后評估并比較兩模型的預測性能，以驗證本去噪方法的有效性，若確認有效，便得到了一個干凈的數據集，具體步驟為：

S1、將原始數據集中的數據進行預處理得到數據集W₁，對W₁中無全序關系的特征進行去除，獲得數據集W₂，所述原始數據集包含各個橋梁的基本信息，各個種類的橋梁病害信息及對應的橋梁病害等級標簽；

S2、根據數據集W₂，基于特征a_i的特征值a_i,j對不同標簽的樣本進行兩兩比較，構造沖突對c_i；

S3、根據沖突對c_i構造沖突集合C＝{c₁,c₂,…,c_N}，N是沖突集C的沖突對總數；

S4、統計沖突集合C中樣本s_k出現的頻次f_k，得到詞典D＝{s_k∶f_k}；

S5、將詞典D中的樣本按頻次由高到低進行排序；

S6、對排序后前t％的樣本在數據集W₂中計算輪廓系數s(k)，刪除s(k)小于ε的樣本s_k，得到過濾后的新數據集W₃,同時刪除沖突對集合C中包含疑似噪音樣本s_k的沖突對，其中t為一個閾值，用于縮小需要計算的樣本數量；

S7、重復S4，S5，S6，直至步驟S6中無s(i)小于ε的樣本，ε的值為0；

S8、在數據集W₁和W₃上使用同一種機器學習算法分別訓練出模型M₁和M₃，對兩個模型的橋梁病害等級預測性能進行評估驗證，比較評估模型M₃的預測性能。

2.根據權利要求1所述的一種面向橋梁病害數據的去噪方法，其特征在于，所述的步驟S1具體包括：

S11、基于數據集W₁,使用熱卡填充方法，利用最相似樣本的值補足缺失特征值，最相似樣本的度量方法為其中a_i,j為數據集中第i個樣本的第j個特征的特征值，為缺失的特征值，Na是數據集W₂的總樣本數，i₀為最相似的樣本編號；

S12、刪除對標簽值無影響的無用特征；

S13、刪除數據集W₁中特征值無全序關系的特征，得到數據集W₂。

3.根據權利要求1所述的一種面向橋梁病害數據的去噪方法，其特征在于，所述的步驟S2具體包括：

S21、數據集W₂的特征集合為A＝{a₁,a₂,…,a_Ni}，Ni是數據集W₂的特征總數；

S22、數據集特征a_i的特征值集合為D＝{a_i,1,a_i,2,…,a_i,Na}，Na是數據集W₂的總樣本數，也是特征a_i的特征值總數；

S23、首先判斷兩個樣本的標簽，若相同，則跳過比較這兩個樣本，若標簽不同，則對兩個樣本所有特征下的特征值一一對應地比較大小，其計算公式：

若f(A,B)為真，則有A，B構成沖突對(A,B)；

S24、選定第一個樣本，依次將后面的所有樣本按照步驟S23的方式與第一個樣本進行比較，構造沖突對，依次進行下去，直至迭代到最后一個樣本，然后選定第二個樣本，依次將后面的所有樣本按照步驟S23的方式與第一個樣本進行比較，構造沖突對，依次進行下去，直至迭代到最后一個樣本；同樣地，直到選定倒數第二個樣本比較完后停止迭代。