[發(fā)明專利]一種用于艦艇銹蝕區(qū)自動(dòng)化識(shí)別的深度巡檢方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110332277.4
• 申請(qǐng)日: 2021-03-29
• 公開（公告）號(hào): CN113065446B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 王宇赫;毛強(qiáng)強(qiáng);余夢琪;劉帥辰;汪遠(yuǎn)博;孫鑫
• 申請(qǐng)（專利權(quán)）人: 青島東坤蔚華數(shù)智能源科技有限公司
• 主分類號(hào): G06V20/17
• 分類號(hào): G06V20/17;G06V10/25;G06V10/20;G06V10/764;G06V10/82;G06V10/774;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

本發(fā)明涉及一種用于艦艇銹蝕區(qū)自動(dòng)化識(shí)別的深度巡檢方法，包括建立預(yù)訓(xùn)練圖像識(shí)別模型和銹蝕圖像自動(dòng)識(shí)別模型，然后對(duì)大量艦艇圖像打上標(biāo)簽，并用部分有標(biāo)簽的圖像訓(xùn)練銹蝕圖像自動(dòng)識(shí)別模型；將多張待檢測艦艇圖像輸入訓(xùn)練后的模型，將打有銹蝕標(biāo)簽的圖像保留，并標(biāo)注銹蝕區(qū)邊界框，標(biāo)注后的圖像構(gòu)成銹蝕區(qū)域定位數(shù)據(jù)集；建立銹蝕區(qū)域目標(biāo)檢測模型，采用部分銹蝕區(qū)域定位數(shù)據(jù)集中的圖像對(duì)模型進(jìn)行訓(xùn)練；最后將待定位的銹蝕艦艇圖像輸入到訓(xùn)練后銹蝕區(qū)域目標(biāo)檢測模型中，輸出銹蝕區(qū)的邊界框參數(shù)，并以邊界框標(biāo)記銹蝕區(qū)所在位置。該方法實(shí)現(xiàn)從艦艇圖像獲取到銹蝕區(qū)自動(dòng)定位的一體化流程，且融合深度學(xué)習(xí)圖像識(shí)別算法及目標(biāo)檢測算法，極具智能化。

技術(shù)領(lǐng)域

本發(fā)明涉及艦艇銹蝕區(qū)檢測領(lǐng)域，具體涉及一種用于艦艇銹蝕區(qū)自動(dòng)化識(shí)別的深度巡檢方法。

背景技術(shù)

艦艇傳統(tǒng)銹蝕檢測多為現(xiàn)場人工巡檢，人工巡檢往往耗費(fèi)大量時(shí)間及精力，甚至在艦艇高危區(qū)域存在安全隱患，對(duì)巡檢工人人身安全帶來潛在威脅。為了降低艦艇銹蝕檢測的時(shí)間、人力成本并促進(jìn)該工作安全高效化發(fā)展，應(yīng)當(dāng)聚焦當(dāng)下科技前沿改進(jìn)巡檢流程，盡可能減少銹蝕檢測過程中的人為干預(yù)。

目前，機(jī)器人巡檢憑借其低成本、高效率的現(xiàn)場表現(xiàn)，已經(jīng)初步應(yīng)用在建筑工地、港口碼頭等眾多場景。但適用于艦艇欠平穩(wěn)環(huán)境的機(jī)器人設(shè)計(jì)較為繁瑣，且艦艇銹蝕多出現(xiàn)于船身，機(jī)器人巡檢并不適用于艦艇銹蝕區(qū)域檢測。相比之下，無人機(jī)巡檢更適合艦艇環(huán)境，且能全方位無死角地采集艦艇內(nèi)部及水上船身各處的圖像。隨著高性能計(jì)算技術(shù)及人工智能的迅速發(fā)展，深度學(xué)習(xí)已經(jīng)在很多領(lǐng)域引起廣泛關(guān)注。深度神經(jīng)網(wǎng)絡(luò)具有復(fù)雜非線性函數(shù)的近似能力，能深入挖掘圖像空間層次特征，已經(jīng)在圖像識(shí)別、目標(biāo)檢測等領(lǐng)域得到充分驗(yàn)證，故在利用無人機(jī)采集的艦艇圖像檢測銹蝕區(qū)域的軍工應(yīng)用上，深度學(xué)習(xí)具有可行性。

鑒于鐵銹并不具有特定規(guī)則的形狀、顏色，僅根據(jù)形狀、顏色進(jìn)行圖像識(shí)別，其銹蝕檢測誤差較大。此外，對(duì)于某一特定的艦艇，無人機(jī)采集的圖像數(shù)量有限，單純依靠采集的圖像訓(xùn)練復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)也會(huì)導(dǎo)致較大的圖像識(shí)別誤差。為了準(zhǔn)確檢測艦艇銹蝕區(qū)域，應(yīng)同時(shí)解決銹蝕特征精準(zhǔn)提取及小數(shù)據(jù)集訓(xùn)練的兩大難題。而遷移學(xué)習(xí)具備將在充足數(shù)據(jù)集下學(xué)到的知識(shí)搬遷到較小數(shù)據(jù)集的能力，使得模型在較小數(shù)據(jù)集上仍具有較好的學(xué)習(xí)效果。其可被充分利用，從而實(shí)現(xiàn)在不同艦艇圖像數(shù)據(jù)集上，以較小的訓(xùn)練成本，針對(duì)性地訓(xùn)練銹蝕區(qū)檢測模型。

因此，針對(duì)海上艦艇的特殊環(huán)境及小數(shù)據(jù)集的限制問題，亟需建立一種能深入挖掘銹蝕空間多層次特征，且適用于較小圖片數(shù)據(jù)集的艦艇銹蝕區(qū)域檢測方法。充分利用無人機(jī)圖像采集、深度學(xué)習(xí)及遷移學(xué)習(xí)構(gòu)建用于艦艇銹蝕區(qū)識(shí)別的深度銹蝕巡檢系統(tǒng)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的上述技術(shù)問題，本發(fā)明目的在于提供基于深度學(xué)習(xí)及遷移學(xué)習(xí)搭建的一種新型的深度巡檢方法。該方法將圖像采集、圖像識(shí)別及目標(biāo)檢測融為一體，實(shí)現(xiàn)從艦艇圖像采集到銹蝕區(qū)域精準(zhǔn)定位的自動(dòng)化流程。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種用于艦艇銹蝕區(qū)自動(dòng)化識(shí)別的深度巡檢方法，包括如下步驟：

S100：針對(duì)待檢測銹蝕狀況的艦艇，對(duì)艦艇的所有外表面拍攝多張圖像；拍攝照片時(shí)可以利用無人機(jī)進(jìn)行拍攝，并且盡可能多地采集艦艇外表面各處的照片。

S200：利用圖像增強(qiáng)方法，對(duì)S100中得到的圖像進(jìn)行裁剪、縮放和旋轉(zhuǎn)處理得到擴(kuò)充后的數(shù)據(jù)集；在一定程度上提升后續(xù)所訓(xùn)練模型的性能，此處所述的圖像增強(qiáng)方法屬于現(xiàn)有技術(shù)。

S300：建立預(yù)訓(xùn)練圖像識(shí)別模型，所述預(yù)訓(xùn)練圖像識(shí)別模型是在大量已知的銹蝕圖像數(shù)據(jù)集上完成初步訓(xùn)練的模型；可以采用現(xiàn)有的預(yù)訓(xùn)練模型。

所述預(yù)訓(xùn)練圖像識(shí)別模型用于后續(xù)遷移學(xué)習(xí)，可以大幅節(jié)省模型處理時(shí)間，更適用于工業(yè)大范圍運(yùn)用。預(yù)訓(xùn)練模型是在大量銹蝕圖像數(shù)據(jù)集上已完成初步訓(xùn)練的模型。