[發(fā)明專利]融合深度學(xué)習(xí)的橋梁表觀損傷雙目視覺智能檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211327687.0
• 申請日: 2022-10-27
• 公開（公告）號: CN115908276A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: 張治成;劉金童;張鶴;沈芷菁
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T17/00;G06V10/22;G06V10/46;G06V10/764;G06V10/774;G06V10/82;G06V20/10;G06V20/17;G06N3/08;G06N3/0455;G06N3/0464
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 賈玉霞

本發(fā)明公開一種融合深度學(xué)習(xí)的橋梁表觀損傷雙目視覺智能檢測方法及系統(tǒng)，包括：分別構(gòu)建每個橋梁部位、橋梁構(gòu)件和損傷類別的訓(xùn)練數(shù)據(jù)集；基于改進(jìn)的VGG16模型，分別構(gòu)建部位識別模型、構(gòu)件識別模型和損傷識別模型，獲得三層級預(yù)分類模型；基于改進(jìn)的編碼器?解碼器FCN模型，構(gòu)建每個損傷類別的像素級檢測模型；然后分別用相應(yīng)的訓(xùn)練數(shù)據(jù)集訓(xùn)練多層級預(yù)分類模型和像素級檢測模型，進(jìn)行在線圖像檢測，獲得預(yù)分類后的橋梁表觀圖像的損傷數(shù)量、形態(tài)輪廓及傾角走向；基于雙目立體視覺的中心投影模型，對損傷的圖像形態(tài)輪廓進(jìn)行三維重建并定量測量，獲得損傷尺寸。本發(fā)明能輸出位置、類別和尺寸等全面表觀損傷信息，為服役橋梁表觀狀態(tài)評估提供客觀依據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及橋梁結(jié)構(gòu)表觀信息檢測領(lǐng)域，尤其涉及一種融合深度學(xué)習(xí)的橋梁表觀損傷雙目視覺智能檢測方法及系統(tǒng)。

背景技術(shù)

近年來，無人機(jī)輔助的基于機(jī)器視覺的橋梁檢測方式正逐漸興起，不少研究結(jié)合深度學(xué)習(xí)方法高效且精準(zhǔn)地檢測橋梁表觀損傷。然而，現(xiàn)有的橋梁檢測系統(tǒng)在表觀信息檢測方面還存在以下問題：(1)表觀損傷信息提取不完善或信息未整合，仍需結(jié)合人工檢測結(jié)果，才能進(jìn)一步應(yīng)用于橋梁表觀狀態(tài)評估；(2)未考慮不同橋梁部位的不同構(gòu)件上的特定損傷特征，導(dǎo)致不同橋梁位置的同類損傷相互干擾，降低了損傷識別精度；(3)未考慮損傷嚴(yán)重程度在不同橋梁位置對應(yīng)著不同的影響權(quán)重，導(dǎo)致測量結(jié)果無法直接為損傷定量評估提供參考；(4)相關(guān)損傷識別或檢測模型的訓(xùn)練思路單一，應(yīng)用面受限。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種融合深度學(xué)習(xí)的橋梁表觀損傷雙目視覺智能檢測方法及系統(tǒng)，具體技術(shù)方案如下：

一種融合深度學(xué)習(xí)的橋梁表觀損傷雙目視覺智能檢測方法，該方法包括：

步驟一：通過雙目拍攝系統(tǒng)獲取橋梁表觀圖像，并對每張圖像標(biāo)注出拍攝橋梁的部位、損傷所在橋梁具體構(gòu)件和損傷類別，并按照橋梁的部位對圖像進(jìn)行歸類，分別構(gòu)建每個橋梁部位的訓(xùn)練數(shù)據(jù)集；然后對每個橋梁部位的圖像進(jìn)一步按照損傷所在橋梁的具體構(gòu)件進(jìn)行分類，分別構(gòu)建每個橋梁部位的每個橋梁構(gòu)件的訓(xùn)練數(shù)據(jù)集；最后對每個橋梁構(gòu)件的圖像按照損傷類別進(jìn)行分類，構(gòu)建每個橋梁部位的每個橋梁構(gòu)件的每個損傷類別的訓(xùn)練數(shù)據(jù)集；

步驟二：構(gòu)建改進(jìn)的VGG16模型，即將VGG16模型的三個全連接層的神經(jīng)元數(shù)量修改為1024、512和識別類別的個數(shù)，然后分別用每個橋梁部位的訓(xùn)練數(shù)據(jù)集訓(xùn)練改進(jìn)的VGG16模型，得到對應(yīng)每個橋梁部位的部位識別模型；然后用每個橋梁構(gòu)件的訓(xùn)練數(shù)據(jù)集訓(xùn)練對應(yīng)橋梁部位的部位識別模型，得到對應(yīng)構(gòu)件的構(gòu)件識別模型；最后，用每個橋梁部位的每個橋梁構(gòu)件的每個損傷類別的訓(xùn)練數(shù)據(jù)集訓(xùn)練對應(yīng)構(gòu)件的構(gòu)件識別模型，得到對應(yīng)橋梁構(gòu)件的每個損傷類別的損傷識別模型；從而獲得三層級預(yù)分類模型；

步驟三：構(gòu)建改進(jìn)的編碼器-解碼器FCN模型，即，采用基于VGG19的編碼器網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，將編碼器最大池化索引疊加到對應(yīng)的相同分辨率的解碼器轉(zhuǎn)置卷積輸出上進(jìn)行融合，從而檢測容易忽略的損傷細(xì)節(jié)特征；所述編碼器網(wǎng)絡(luò)根據(jù)輸入的橋梁表觀圖像生成特征圖，然后所述特征圖輸入到解碼器網(wǎng)絡(luò)，生成密集預(yù)測圖，再將所述密集預(yù)測圖由Softmax層處理，得到每個像素的類別概率，完成損傷像素級檢測；并用每個損傷類別的橋梁表觀圖像作為訓(xùn)練集訓(xùn)練改進(jìn)的編碼器-解碼器FCN模型，得到對應(yīng)每個損傷類別的像素級檢測模型；

步驟四：將待預(yù)測的橋梁表觀圖像輸入所述部位識別模型，識別出該圖像對應(yīng)的橋梁部位，然后再將待預(yù)測的橋梁表觀圖像輸入對應(yīng)橋梁部位的構(gòu)件識別模型，識別出該圖像對應(yīng)的構(gòu)件；最后將待預(yù)測的橋梁表觀圖像輸入對應(yīng)構(gòu)件的損傷識別模型，輸出待預(yù)測的橋梁表觀圖像的損傷類別；將待預(yù)測的橋梁表觀圖像輸入對應(yīng)損傷類別的像素級檢測模型，輸出該待預(yù)測的橋梁表觀圖像的損傷數(shù)量、形態(tài)輪廓及傾角走向。