[發(fā)明專利]一種水下圖像增強(qiáng)和數(shù)據(jù)集真值圖像獲得方法

在審

• 申請?zhí)枺?/td>: 202110703619.9
• 申請日: 2021-06-24
• 公開（公告）號: CN113379715A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 胡凱;張彥雯;丁益武;陸美霞;翁成航;黃昱錕
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T5/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 周科技

本發(fā)明公開了一種水下圖像增強(qiáng)和數(shù)據(jù)集真值圖像獲得方法，涉及圖像質(zhì)量增強(qiáng)領(lǐng)域，將自然圖像質(zhì)量評估方法(Natural Image Quality Evaluator,NIQE)作為FUnIE?GAN的損失函數(shù)的一部分，進(jìn)行圖像增強(qiáng)工作；以NIQE值為指標(biāo)，對于不同的數(shù)據(jù)集，采用遍歷或者最優(yōu)化的方法，尋找到數(shù)據(jù)集中最優(yōu)的NIQE的權(quán)重，同時用該模型還原數(shù)據(jù)集中的圖像，作為真值圖片，用于后期的訓(xùn)練；采用最優(yōu)損失權(quán)重系數(shù)下訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行實際場景的水下圖像增強(qiáng)，輸出增強(qiáng)后的水下圖像。本發(fā)明方法具有更佳的NIQE指標(biāo)，在顏色的直方圖分布上更加均勻，更符合人眼感受，超出現(xiàn)有數(shù)據(jù)集所設(shè)置真值圖像的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像質(zhì)量增強(qiáng)技術(shù)領(lǐng)域，具體涉及一種水下圖像增強(qiáng)和數(shù)據(jù)集真值圖像獲得方法。

背景技術(shù)

人類快速發(fā)展帶來的對自然資源的需求不斷擴(kuò)張，海洋蘊(yùn)藏著豐富的物產(chǎn)資源，由于海洋環(huán)境更為危險和復(fù)雜，人工進(jìn)行探索和開發(fā)的危險系數(shù)過高。水下機(jī)器人與人工操作相結(jié)合的方法雖然降低了風(fēng)險，但是效率不高，水下機(jī)器人進(jìn)行全自主探索和開發(fā)作業(yè)必將成為未來的趨勢。利用相機(jī)獲得周圍環(huán)境信息的視頻圖像是水下機(jī)器人進(jìn)行探測的重要信息來源之一，然而，通過相機(jī)直接獲取的水下圖像存在對比度低、圖像模糊、色偏等問題，這是水下環(huán)境對光的散射作用和吸收作用造成的。因此，對水下圖像的復(fù)原研究是基于視覺的水下機(jī)器人自主作業(yè)的前提，對人類開發(fā)海洋資源戰(zhàn)略有著十分重要的意義。

對抗生成網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)是現(xiàn)有的主流水下圖像增強(qiáng)算法之一，在許多場景中得到了應(yīng)用，但是由于受特殊成像環(huán)境的限制，學(xué)習(xí)樣本中的水下真值圖像很難獲得，當(dāng)前真值樣本依賴多種傳統(tǒng)算法處理的結(jié)果，在其中選取最佳圖像、或者通過估計水下圖像的隨機(jī)參數(shù)合成圖像作為真值圖像，造成與真實水下圖像存在差距，難以獲得多樣的數(shù)據(jù)作為訓(xùn)練樣本，就無法突破傳統(tǒng)算法處理效果的限制。

總的來講，GAN網(wǎng)絡(luò)進(jìn)行水下圖像增強(qiáng)工作都需要大量的訓(xùn)練數(shù)據(jù)，包括水下退化圖像和其對應(yīng)的真值圖像。但是由于受特殊成像環(huán)境的限制，學(xué)習(xí)樣本中的水下真值圖像很難獲得，當(dāng)前真值樣本依賴多種傳統(tǒng)算法處理的結(jié)果，在其中選取最佳圖像、或者通過估計水下圖像的隨機(jī)參數(shù)合成圖像作為真值圖像，造成與真實水下圖像存在差距，難以獲得多樣的數(shù)據(jù)作為訓(xùn)練樣本，就無法突破傳統(tǒng)算法處理效果的限制。

發(fā)明內(nèi)容

發(fā)明目的：針對以上問題，本發(fā)明提出一種水下圖像增強(qiáng)和數(shù)據(jù)集真值圖像獲得方法，相比于現(xiàn)有的基于水下圖像增強(qiáng)的生成對抗網(wǎng)絡(luò)，本發(fā)明的增強(qiáng)后的水下圖像在對比度上能夠超越真值圖像數(shù)據(jù)集的設(shè)置。

技術(shù)方案：為實現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：一種水下圖像增強(qiáng)和數(shù)據(jù)集真值圖像獲得方法，包括以下步驟：

構(gòu)建添加NIQE函數(shù)的FUnIE-GAN網(wǎng)絡(luò)；在FUnIE-GAN網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，在損失函數(shù)中添加NIQE項；有損圖像作為網(wǎng)絡(luò)的輸入，水下真值圖像作為網(wǎng)絡(luò)的輸出；

通過構(gòu)建的網(wǎng)絡(luò)對成對數(shù)據(jù)集進(jìn)行訓(xùn)練，應(yīng)用遍歷法對損失權(quán)重系數(shù)進(jìn)行選擇，選擇出最優(yōu)的損失權(quán)重系數(shù)，更新網(wǎng)絡(luò)的損失函數(shù)，得到最優(yōu)的網(wǎng)絡(luò)模型；

所述成對數(shù)據(jù)集包括一個有損圖像數(shù)據(jù)集和一個真值圖像數(shù)據(jù)集；有損圖像數(shù)據(jù)集中的圖像和真值圖像數(shù)據(jù)集中的圖像一一對應(yīng)；

對實際水下圖像進(jìn)行采集，采用最優(yōu)損失權(quán)重系數(shù)下訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行實際場景的水下圖像增強(qiáng)，輸出增強(qiáng)后的水下圖像。

進(jìn)一步的，網(wǎng)絡(luò)損失函數(shù)表達(dá)式如下：