[發(fā)明專利]帶邊緣保持的水下圖像處理系統(tǒng)、方法、裝置和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011243569.2
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112102208B
• 公開(kāi)（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 劉俊明
• 申請(qǐng)（專利權(quán)）人: 上海彩虹魚(yú)海洋科技股份有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/13;G06N3/04
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 楊麗

本申請(qǐng)涉及帶邊緣保持的水下圖像處理系統(tǒng)和方法。該系統(tǒng)包括：透射圖估計(jì)模塊，被配置成對(duì)采集到的退化水下圖像執(zhí)行透射圖恢復(fù)操作以生成所述水下圖像的透射圖估計(jì)；環(huán)境光估計(jì)模塊，被配置成對(duì)所述水下圖像執(zhí)行環(huán)境光估計(jì)操作以生成所述水下圖像的環(huán)境光估計(jì)；去霧處理模塊，被配置成基于所述透射圖估計(jì)和所述環(huán)境光估計(jì)對(duì)所述水下圖像執(zhí)行去霧處理以獲得去霧水下圖像；以及判別器模塊，被配置成對(duì)所述透射圖估計(jì)和所述去霧水下圖像相比于透射圖真值和去霧水下圖像真值進(jìn)行判別，并且基于判別結(jié)果來(lái)訓(xùn)練和監(jiān)督透射圖估計(jì)和環(huán)境光估計(jì)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理領(lǐng)域，尤其涉及使用生成式對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)帶邊緣保持的水下圖像處理的技術(shù)。

背景技術(shù)

隨著圖像技術(shù)的發(fā)展，越來(lái)越多的水下作業(yè)開(kāi)始使用視覺(jué)系統(tǒng)來(lái)采集水下圖像或視頻數(shù)據(jù)，并通過(guò)人的肉眼觀察或借助于計(jì)算機(jī)自動(dòng)分析所采集到的數(shù)據(jù)。然而，由于光線在水中傳播時(shí)受到衰減和散射的影響，且不同波長(zhǎng)的光線受影響的程度不同，導(dǎo)致水下圖像的質(zhì)量受損，顏色出現(xiàn)偏差，從而影響諸如目標(biāo)檢測(cè)、目標(biāo)跟蹤等計(jì)算機(jī)視覺(jué)算法的性能。因此對(duì)水下圖像進(jìn)行增強(qiáng)有重要意義，由于對(duì)水下圖像進(jìn)行增強(qiáng)類似于去除陸上拍攝圖像中的霧，該任務(wù)通常被稱為水下圖像去霧。

目前水下圖像去霧仍然沒(méi)有較為魯棒的方法。以光線衰減和散射模型為基礎(chǔ)的去霧算法依賴于對(duì)圖像中各像素的深度估計(jì)、對(duì)各位置的光線衰減和散射系數(shù)的估計(jì)、以及相機(jī)白點(diǎn)的估計(jì)。這種算法的缺點(diǎn)在于較為復(fù)雜，同時(shí)也未取得較好的結(jié)果。目前，一些相關(guān)研究中提出了基于神經(jīng)網(wǎng)絡(luò)的水下圖像去霧方法，取得了較好結(jié)果，但仍然存在去霧不充分、結(jié)果失真或邊緣信息丟失等問(wèn)題。

針對(duì)上述問(wèn)題，本申請(qǐng)?zhí)岢鲆环N帶邊緣保持的水下圖像處理系統(tǒng)和方法以及相關(guān)的裝置和介質(zhì)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)岢隽藥н吘壉３值乃聢D像處理系統(tǒng)、方法、裝置和計(jì)算機(jī)可讀介質(zhì)。

第一方面，本申請(qǐng)公開(kāi)了一種帶邊緣保持的水下圖像處理系統(tǒng)。該系統(tǒng)可包括：透射圖估計(jì)模塊，被配置成對(duì)采集到的退化水下圖像執(zhí)行透射圖恢復(fù)操作以生成所述水下圖像的透射圖估計(jì)。

在一些示例中，該系統(tǒng)可進(jìn)一步包括：環(huán)境光估計(jì)模塊，被配置成對(duì)所述水下圖像執(zhí)行環(huán)境光估計(jì)操作以生成所述水下圖像的環(huán)境光估計(jì)；去霧處理模塊，被配置成基于所述透射圖估計(jì)和所述環(huán)境光估計(jì)對(duì)所述水下圖像執(zhí)行去霧處理以獲得去霧水下圖像；以及判別器模塊，被配置成對(duì)所述透射圖估計(jì)和所述去霧水下圖像相比于透射圖真值和去霧水下圖像真值進(jìn)行判別，并且基于判別結(jié)果來(lái)訓(xùn)練和監(jiān)督透射圖估計(jì)和環(huán)境光估計(jì)。

在一些示例中，該透射圖估計(jì)模塊可包括：編碼器，用于對(duì)所述水下圖像執(zhí)行編碼操作以生成與所述水下圖像相關(guān)聯(lián)的潛在特征；解碼器，用于對(duì)由編碼器輸出的潛在特征執(zhí)行解碼以輸出經(jīng)解碼特征；特征級(jí)聯(lián)器，用于抽取所述解碼器輸出的經(jīng)解碼特征，將所述經(jīng)解碼特征上采樣至與所述解碼器最后一層特征相同的尺寸，然后與所述解碼器級(jí)聯(lián)；殘差卷積層，用于對(duì)經(jīng)級(jí)聯(lián)的特征進(jìn)行處理以計(jì)算所述水下圖像的透射圖估計(jì)。

在一些示例中，該編碼器可被進(jìn)一步配置成對(duì)所述水下圖像執(zhí)行編碼操作以生成與所述水下圖像相關(guān)聯(lián)的潛在特征，其中所述潛在特征的一個(gè)或多個(gè)特征通道通過(guò)以下方式被確定為指示所述水下圖像的邊緣屬性：在損失函數(shù)的基礎(chǔ)上使所述一個(gè)或多個(gè)特征通道中的潛在特征與利用邊緣算子計(jì)算得到的邊緣特征之差最小化。

第二方面，本申請(qǐng)公開(kāi)了一種帶邊緣保持的水下圖像處理方法。該方法可包括：采集水下圖像；對(duì)所述水下圖像執(zhí)行透射圖恢復(fù)操作以生成所述水下圖像的透射圖估計(jì)，其中所述透射圖估計(jì)利用損失函數(shù)基于所述水下圖像的邊緣特征來(lái)確定。

在一些示例中，該方法可進(jìn)一步包括：對(duì)所述水下圖像執(zhí)行環(huán)境光估計(jì)操作以生成所述水下圖像的環(huán)境光估計(jì)；基于所述透射圖估計(jì)和所述環(huán)境光估計(jì)對(duì)所述水下圖像執(zhí)行去霧處理以獲得去霧水下圖像；以及對(duì)所述透射圖估計(jì)和所述去霧水下圖像相比于透射圖真值和去霧水下圖像真值進(jìn)行判別，并且基于判別結(jié)果來(lái)訓(xùn)練和監(jiān)督透射圖估計(jì)和環(huán)境光估計(jì)。