[發(fā)明專利]基于GAN網(wǎng)絡(luò)的水下退化圖像增強(qiáng)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010057181.7
• 申請(qǐng)日: 2020-01-17
• 公開（公告）號(hào): CN111260584A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 胡永利;王立國;張勇;王博岳;員嬌嬌;尹寶才
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 吳蔭芳

本發(fā)明涉及一種基于GAN網(wǎng)絡(luò)的水下退化圖像恢復(fù)的方法，用于解決無成對(duì)數(shù)據(jù)集的水下退化圖像恢復(fù)的問題。本方法的網(wǎng)絡(luò)架構(gòu)由兩個(gè)生成器網(wǎng)絡(luò)和兩個(gè)判別器網(wǎng)絡(luò)組成，兩個(gè)生成器分別用來將水下退化圖像轉(zhuǎn)化為清晰圖像和將生成的清晰圖像復(fù)原為退化圖像，兩個(gè)生成器的結(jié)構(gòu)相同參數(shù)不同。兩個(gè)判別器分別判斷第一個(gè)生成器生成的圖像是否為清晰圖像和判斷第二個(gè)生成器生成的圖像是否為退化的圖像。首先訓(xùn)練生成器，當(dāng)達(dá)到訓(xùn)練次數(shù)后，生成器參數(shù)不變，再訓(xùn)練判別器，當(dāng)判別器達(dá)到訓(xùn)練次數(shù)后，判別器參數(shù)不變，繼續(xù)訓(xùn)練生成器，如此循環(huán)往復(fù)，直到最小化損失函數(shù)完成對(duì)網(wǎng)絡(luò)的優(yōu)化訓(xùn)練，訓(xùn)練完成的第一生成器用于生成水下退化圖像的清晰圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理和深度學(xué)習(xí)領(lǐng)域，尤其是面向水下退化圖像的增強(qiáng)任務(wù)。

背景技術(shù)

水下退化圖像增強(qiáng)任務(wù)是當(dāng)前圖像處理領(lǐng)域的研究熱點(diǎn)之一，隨著海洋資源開發(fā)的不斷發(fā)展，水下機(jī)器人已成為海洋開發(fā)和利用領(lǐng)域的一種高技術(shù)手段，在深海復(fù)雜環(huán)境下需要水下機(jī)器人代替人類完成人類無法的任務(wù)作業(yè)，水下機(jī)器人主要依賴視覺能力，因此，近年來，水下圖像處理成為了一個(gè)重要的研究方向。在水下，波長較長的紅光衰減最快，水下3-4米就最先消失，波長較短的藍(lán)光和綠光在水中能夠傳輸更遠(yuǎn)，因此，通過攝像機(jī)在海里采集的視頻或圖像往往呈現(xiàn)藍(lán)綠色。海里各種微小的浮游生物和沙石等微粒造成了水質(zhì)的渾濁，采集的視頻和照片看起來像是蒙上一層霧一樣。在水質(zhì)渾濁、光線折射散射和光線衰減等因素的影響下，所獲得的水下圖像普遍存在色彩失真、對(duì)比度低、噪聲低等退化問題，采集的水下退化圖像嚴(yán)重地影響了水下機(jī)器人的水下勘探與海產(chǎn)品的采集。水下退化圖像增強(qiáng)已成為了海洋開采中要解決的一個(gè)重要問題。

在過去的幾十年里，水下圖像增強(qiáng)吸引了越來越多的關(guān)注。將這些水下圖像增強(qiáng)方法分為三類:空域方法、變換域方法和基于深度學(xué)習(xí)的方法。空間域方法通常對(duì)水下圖像的灰度變化進(jìn)行調(diào)整，以增強(qiáng)其對(duì)比度，減少顏色失真。傳統(tǒng)方法包括灰色世界、自動(dòng)白平衡、直方圖均衡化、自適應(yīng)直方圖均衡化、對(duì)比度受限自適應(yīng)直方圖均衡化及其變化。雖然這些方法在增強(qiáng)陸地圖像方面取得了很大的成功，但對(duì)水下圖像仍有很大的局限性。變換域方法將水下信息從空間域轉(zhuǎn)移到頻域，通過放大高頻信息和抑制低頻信息來增強(qiáng)圖像對(duì)比度。經(jīng)典方法有低通濾波、高通濾波、同態(tài)濾波、小波變換。盡管這些方法可以降低噪聲，增強(qiáng)水下圖像的對(duì)比度，但色彩校正的效果較差。

以上兩類方法不需要學(xué)習(xí)過程，只需獨(dú)立地增強(qiáng)圖像即可。基于深度學(xué)習(xí)的方法利用端到端自動(dòng)訓(xùn)練機(jī)制對(duì)水下圖像進(jìn)行重構(gòu)，從一組水下圖像中學(xué)習(xí)水下的固有特征。常用的方法有Anwar等人將CNN引入水下圖像增強(qiáng)模型，利用合成數(shù)據(jù)集進(jìn)行訓(xùn)練，Hou等人提出了一種殘差卷積神經(jīng)網(wǎng)絡(luò)用于水下圖像增強(qiáng)。Uplavikar等人提出了利用領(lǐng)域?qū)箤W(xué)習(xí)進(jìn)行水下圖像增強(qiáng)的方法。Wang等人提出了一種深度CNN增強(qiáng)水下圖像的方法。Sun等人通過設(shè)計(jì)編碼解碼框架，提出了一種用于水下圖像增強(qiáng)的深度像素對(duì)像素網(wǎng)絡(luò)模型，F(xiàn)abbri等人提出了一種使用生成對(duì)抗網(wǎng)絡(luò)(GANs)提高水下場景視覺質(zhì)量的方法，Li等人提出了一種融合對(duì)抗網(wǎng)絡(luò)來增強(qiáng)非真水圖像。這些方法顯著提高了水下圖像的視覺效果和質(zhì)量，但需要大量的成對(duì)數(shù)據(jù)，在水下環(huán)境中很難獲得，他們通常使用合成數(shù)據(jù)來構(gòu)造配對(duì)數(shù)據(jù)。

發(fā)明內(nèi)容

為解決無成對(duì)數(shù)據(jù)集的水下退化圖像增強(qiáng)的問題，本發(fā)明公開了一種GAN網(wǎng)絡(luò)的方法將水下退化圖像轉(zhuǎn)化為清晰圖像。由于水下圖像沒有與之完全對(duì)應(yīng)的清晰圖像，因此本發(fā)明受CycleGAN的啟發(fā)，使用不成對(duì)數(shù)據(jù)X和Y進(jìn)行水下圖像增強(qiáng)，與CycleGAN不同的是本發(fā)明三個(gè)主要?jiǎng)?chuàng)新是：1)采用了一個(gè)內(nèi)容損失來約束退化圖像與生成的清晰圖像之間的內(nèi)容一致性，2)為了減少產(chǎn)生的圖像的模糊和噪聲，在判別器中引入了一個(gè)模糊對(duì)抗損失。3)在生成器中使用了densenet blocks來傳輸更多的信息。