[發(fā)明專利]一種基于特征域循環(huán)一致性的半監(jiān)督圖像去雨方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111319093.0
• 申請(qǐng)日: 2021-11-09
• 公開（公告）號(hào): CN114119393A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 余磊;周維怡;何敬偉;王碧杉
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明提供一種基于特征域循環(huán)一致性的半監(jiān)督圖像去雨方法，包括以下步驟：步驟1，建立訓(xùn)練集；步驟2，網(wǎng)絡(luò)模型構(gòu)建；步驟3，損失函數(shù)設(shè)計(jì)，損失函數(shù)包括監(jiān)督損失和無監(jiān)督損失，監(jiān)督損失采用最小均方誤差MSE損失函數(shù)，無監(jiān)督損失則是循環(huán)一致性損失；步驟4，利用步驟1中構(gòu)建的數(shù)據(jù)集以及步驟3中的損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；步驟5，將待測試的帶雨圖像輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，獲得相應(yīng)的去雨圖像。本發(fā)明在模型訓(xùn)練過程中綜合利用合成數(shù)據(jù)和真實(shí)數(shù)據(jù)，在特征域?qū)铣捎昃€特征和合成雨線特征進(jìn)行分布對(duì)齊，避免網(wǎng)絡(luò)過于學(xué)習(xí)合成數(shù)據(jù)的特定分布，以提高去雨模型泛化性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，特別涉及半監(jiān)督學(xué)習(xí)的方法進(jìn)行單幅圖像去雨。

背景技術(shù)

隨著硬件算力的提升，計(jì)算機(jī)技術(shù)飛速發(fā)展，并且被廣泛應(yīng)用于生活中的各個(gè)領(lǐng)域，例如導(dǎo)航定位、公共安全、軍事國防等。作為計(jì)算機(jī)感知世界的主要載體之一，圖像和視頻包含著豐富的視覺信息，在計(jì)算機(jī)視覺任務(wù)中發(fā)揮著重要的作用。現(xiàn)有大多數(shù)計(jì)算機(jī)視覺算法都假定輸入圖像是清晰、可靠的，然而圖像在成像、傳輸過程中會(huì)不可避免地引入額外干擾，比如熱噪聲、量化誤差等，特別是針對(duì)室外視覺系統(tǒng)，經(jīng)常會(huì)受到天氣因素的影響。其中雨作為最具代表性的惡劣天氣，它會(huì)導(dǎo)致所拍圖像產(chǎn)生遮擋、模糊變形、顏色失真、對(duì)比度降低等問題，直接導(dǎo)致主觀視覺效果變差，從而影響后續(xù)計(jì)算機(jī)視覺算法的性能。因此，有效地消除雨水對(duì)圖像的影響具有重要應(yīng)用價(jià)值。目前，單張圖像去雨算法主要分為兩類：基于監(jiān)督學(xué)習(xí)和基于半監(jiān)督學(xué)習(xí)的方法。

基于監(jiān)督學(xué)習(xí)的方法需要成對(duì)數(shù)據(jù)。然而真實(shí)場景雨圖很難獲得其干凈標(biāo)簽圖像，因此現(xiàn)有大多數(shù)監(jiān)督算法均訓(xùn)練于合成數(shù)據(jù)，這導(dǎo)致此類算法泛化性較差，無法處理真實(shí)場景中復(fù)雜的降雨類型。

基于半監(jiān)督學(xué)習(xí)的方法是近些年的研究熱點(diǎn)，此類方法是在監(jiān)督模型中合成數(shù)據(jù)基礎(chǔ)上，將大量真實(shí)雨圖引入訓(xùn)練過程，讓學(xué)習(xí)器更好地學(xué)習(xí)真實(shí)雨線分布，從而提高去雨算法在真實(shí)場景中的泛化性。如何合理利用真實(shí)雨圖并構(gòu)建無監(jiān)督約束是半監(jiān)督去雨算法的關(guān)鍵所在。

發(fā)明內(nèi)容

基于上述分析，本發(fā)明的目的在于提供一種基于特征域循環(huán)一致性的半監(jiān)督圖像去雨方法，該方法在特征域?qū)铣捎昃€特征和真實(shí)雨線特征進(jìn)行分布對(duì)齊，避免網(wǎng)絡(luò)過于學(xué)習(xí)合成數(shù)據(jù)的特定分布，以提高去雨模型泛化性。

本發(fā)明提供的一種基于特征域循環(huán)一致性的半監(jiān)督圖像去雨方法，包括以下具體步驟：

步驟1，根據(jù)已有干凈圖像，通過添加雨線得到對(duì)應(yīng)合成帶雨圖像，將每對(duì)干凈圖像和合成帶雨圖像以及一張真實(shí)場景雨圖作為一組訓(xùn)練樣本，建立訓(xùn)練集；

步驟2，網(wǎng)絡(luò)模型構(gòu)建，去雨網(wǎng)絡(luò)模型具體包括主干去雨網(wǎng)絡(luò)和半監(jiān)督約束模塊兩部分，主干去雨網(wǎng)絡(luò)模型采用“編碼器Encoder-解碼器Decoder”結(jié)構(gòu)，其中編碼器Encoder用于對(duì)輸入圖像進(jìn)行特征提取，解碼器Decoder用于從特征重建回圖像，半監(jiān)督約束模塊包括多個(gè)多層感知機(jī)MLP結(jié)構(gòu)；

步驟3，損失函數(shù)設(shè)計(jì)，損失函數(shù)包括監(jiān)督損失和無監(jiān)督損失，監(jiān)督損失采用最小均方誤差MSE損失函數(shù)，無監(jiān)督損失則是循環(huán)一致性損失；

步驟4，利用步驟1中構(gòu)建的數(shù)據(jù)集以及步驟3中的損失函數(shù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟5，將待測試的帶雨圖像輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，獲得相應(yīng)的去雨圖像。

進(jìn)一步的，步驟2中主干去雨網(wǎng)絡(luò)中的編碼器Encoder包括一個(gè)卷積層Conv、多個(gè)下采樣層DownSample和多個(gè)殘差模塊ResBlcok，每個(gè)ResBlock包含一個(gè)卷積層和一個(gè)ReLU激活層；解碼器Decoder包括多個(gè)ResBlock、多個(gè)上采樣層UpSample和一個(gè)卷積層。