[發(fā)明專利]一種面向橋梁病害評(píng)級(jí)數(shù)據(jù)的去噪方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910327313.0
• 申請(qǐng)日: 2019-04-23
• 公開（公告）號(hào): CN110083637B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 周揚(yáng)名;王凱;葉琪;阮彤;翟潔
• 申請(qǐng)（專利權(quán)）人: 華東理工大學(xué)
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06N20/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明涉及一種面向橋梁病害評(píng)級(jí)數(shù)據(jù)的去噪方法，其特征在于：首先刪除原始數(shù)據(jù)集中難以區(qū)分出特征值次序關(guān)系的特征；其次對(duì)數(shù)據(jù)集中所有標(biāo)簽不同的樣本分別進(jìn)行兩兩比較，獲得一個(gè)由標(biāo)簽沖突的樣本組成的沖突對(duì)集合；然后根據(jù)樣本在沖突對(duì)集合中出現(xiàn)的次數(shù)由高到低進(jìn)行排序，接著依次計(jì)算排名前t％的樣本的輪廓系數(shù)，從沖突對(duì)集合以及數(shù)據(jù)集中刪除輪廓系數(shù)小于ε的樣本，然后再次依據(jù)樣本在沖突對(duì)中出現(xiàn)的次數(shù)進(jìn)行排序，計(jì)算輪廓系數(shù)以及進(jìn)行刪除操作，直到排名前t％的樣本的輪廓系數(shù)均不小于ε；最后得到一個(gè)去除了噪音的數(shù)據(jù)集，該去噪方法能夠有效提高橋梁病害數(shù)據(jù)分級(jí)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，旨在設(shè)計(jì)一種面向橋梁病害評(píng)級(jí)數(shù)據(jù)的去噪方法。

背景技術(shù)

改革開放以來(lái)，我國(guó)公路橋梁迎來(lái)大建設(shè)大發(fā)展時(shí)期。目前，我國(guó)公路橋梁總數(shù)接近80萬(wàn)座，橋梁數(shù)量和規(guī)模均位居世界之首。然而，我國(guó)步入維修期的在役橋梁日漸增多。據(jù)不完全統(tǒng)計(jì)，我國(guó)在役橋梁約40％服役超過20年，技術(shù)等級(jí)為三、四類的帶病橋梁高達(dá)30％，甚至有超過10萬(wàn)座橋梁為危橋，安全隱患不容忽視。橋梁病害狀況評(píng)級(jí)是路橋管理和養(yǎng)護(hù)的基礎(chǔ)。傳統(tǒng)的人工評(píng)級(jí)方法不僅耗時(shí)耗力，而且準(zhǔn)確度不高，迫切需要運(yùn)用機(jī)器學(xué)習(xí)技術(shù)對(duì)在役橋梁病害進(jìn)行自動(dòng)評(píng)級(jí)。現(xiàn)有橋梁數(shù)據(jù)集中往往包含著大量的標(biāo)簽噪音數(shù)據(jù)，為了有效提高機(jī)器學(xué)習(xí)方法進(jìn)行橋梁病害評(píng)級(jí)的預(yù)測(cè)性能，需要過濾掉原始數(shù)據(jù)集中的標(biāo)簽噪音數(shù)據(jù)。目前主流的標(biāo)簽噪音過濾方法有兩種形式：(1)直接改編分類算法來(lái)降低標(biāo)簽噪音對(duì)算法性能的影響；(2)采用預(yù)分類器對(duì)數(shù)據(jù)進(jìn)行分類投票，然后過濾掉部分疑似噪音數(shù)據(jù)。然而，上述兩種方法在過濾橋梁病害標(biāo)簽噪音數(shù)據(jù)上的效果并不理想。

綜上所述，本交叉領(lǐng)域亟需設(shè)計(jì)一種新的標(biāo)簽噪音過濾方法來(lái)解決上述問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明公開了一種橋梁病害評(píng)級(jí)數(shù)據(jù)的去噪方法，有效地提高了基于機(jī)器學(xué)習(xí)的橋梁病害評(píng)級(jí)方法的預(yù)測(cè)性能。第一、通過刪除原始數(shù)據(jù)集中難以區(qū)分出特征值次序關(guān)系的特征得到新的數(shù)據(jù)集，該數(shù)據(jù)集中每一特征的特征值皆有次序關(guān)系，其中，所述原始數(shù)據(jù)集中包括有各個(gè)橋梁的基本信息，各個(gè)種類的橋梁病害信息及對(duì)應(yīng)的橋梁病害等級(jí)標(biāo)簽；第二、對(duì)數(shù)據(jù)集中所有樣本進(jìn)行兩兩比較，并將互相沖突的兩個(gè)樣本組成一個(gè)沖突對(duì)，而數(shù)據(jù)集中所有的沖突對(duì)構(gòu)造成一個(gè)沖突對(duì)集合；第三、統(tǒng)計(jì)沖突對(duì)集合中樣本的出現(xiàn)次數(shù)，并對(duì)樣本的出現(xiàn)次數(shù)進(jìn)行排序；第四、依據(jù)樣本的輪廓系數(shù)和樣本頻次依次由高到低剔除掉一定比例的樣本獲得新的數(shù)據(jù)集；最后，使用stacking方法分別對(duì)原始數(shù)據(jù)集和新數(shù)據(jù)集進(jìn)行訓(xùn)練獲得兩個(gè)模型，并對(duì)兩個(gè)模型的橋梁病害等級(jí)預(yù)測(cè)性能進(jìn)行評(píng)估驗(yàn)證，以驗(yàn)證本去噪方法的有效性，若確認(rèn)有效，便得到了一個(gè)相對(duì)干凈的數(shù)據(jù)集。

本發(fā)明的技術(shù)方案實(shí)現(xiàn)形式為：一種面向橋梁病害評(píng)級(jí)數(shù)據(jù)的去噪方法，首先通過樣本的兩兩比對(duì)獲得沖突對(duì)集合，然后根據(jù)樣本在沖突對(duì)集合中出現(xiàn)的次數(shù)，結(jié)合樣本的輪廓系數(shù)進(jìn)行噪音數(shù)據(jù)剔除，得到過濾后的數(shù)據(jù)集，接著使用同一種機(jī)器學(xué)習(xí)方法分別在原始數(shù)據(jù)集和過濾后的新數(shù)據(jù)集上對(duì)模型進(jìn)行訓(xùn)練，最后比較兩模型的預(yù)測(cè)性能，具體步驟為：

S1、將原始數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行預(yù)處理獲得數(shù)據(jù)集W₁，通過對(duì)W₁中無(wú)全序關(guān)系的特征進(jìn)行去除得到新的數(shù)據(jù)集W₂；

S2、基于數(shù)據(jù)集W₂，根據(jù)特征a_i的特征值a_i，j對(duì)具有不同標(biāo)簽的樣本進(jìn)行兩兩比較，構(gòu)造沖突對(duì)c_i；

S3、基于沖突對(duì)c_i構(gòu)造沖突集合C＝{c₁，c₂，...，c_N}，其中N是沖突集C中包含的沖突對(duì)總數(shù)；

S4、通過統(tǒng)計(jì)沖突集合C中樣本s_k出現(xiàn)的頻次f_k，獲得詞典D＝{s_k：f_k}。

S5、將詞典D中的樣本按頻次由高到低進(jìn)行排序；