[發(fā)明專利]一種基于跨域協(xié)同學(xué)習(xí)的圖像去雨方法

有效

• 申請?zhí)枺?/td>: 202110742059.8
• 申請日: 2021-06-30
• 公開（公告）號: CN113450278B
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 潘在宇;王軍;李玉蓮;申政文;韓淑雨
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08;G06N20/00;G06V10/80;G06V10/82
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 朱沉雁

1.一種基于跨域協(xié)同學(xué)習(xí)的圖像去雨方法，其特征在于，包括以下步驟：

步驟1、采集N張真實(shí)環(huán)境下含雨圖像，進(jìn)行歸一化處理，將像素大小統(tǒng)一為h×w，作為真實(shí)域訓(xùn)練樣本集R，100＜N＜10000，選擇Rain200L合成圖像去雨數(shù)據(jù)中的N張圖像，進(jìn)行歸一化處理，將像素大小統(tǒng)一為h×w，作為第一合成域訓(xùn)練樣本集S₁，選擇Rain1200合成圖像去雨數(shù)據(jù)中的N張圖像，進(jìn)行歸一化處理，將像素大小統(tǒng)一為h×w，作為第二合成域訓(xùn)練樣本集S₂，轉(zhuǎn)入步驟2；

步驟2、基于多尺度注意力殘差模塊構(gòu)建雙分支圖像去雨網(wǎng)絡(luò)模型，轉(zhuǎn)入步驟3；

步驟3、利用面向合成領(lǐng)域的跨域協(xié)同學(xué)習(xí)策略，基于第一合成域訓(xùn)練樣本集S₁和第二合成域訓(xùn)練樣本集S₂訓(xùn)練雙分支圖像去雨網(wǎng)絡(luò)模型，得到初始雙分支圖像去雨網(wǎng)絡(luò)模型，轉(zhuǎn)入步驟4：

針對雙分支圖像去雨網(wǎng)絡(luò)模型中第一個分支網(wǎng)絡(luò)的協(xié)同學(xué)習(xí)策略如下：

將第一合成域訓(xùn)練樣本集S₁中圖像輸入雙分支圖像去雨網(wǎng)絡(luò)模型中，第一個分支網(wǎng)絡(luò)的輸出結(jié)果為第二個分支網(wǎng)絡(luò)的輸出結(jié)果為將第二合成域訓(xùn)練樣本集S₂中圖像輸入雙分支圖像去雨網(wǎng)絡(luò)模型中，第一個分支網(wǎng)絡(luò)的輸出結(jié)果為第二個分支網(wǎng)絡(luò)的輸出結(jié)果為通過構(gòu)建損失函數(shù)L₁實(shí)現(xiàn)第一個分支網(wǎng)絡(luò)的協(xié)同學(xué)習(xí)，損失函數(shù)L₁如下：

其中，是第一個分支網(wǎng)絡(luò)的重建損失函數(shù)，是第一個分支網(wǎng)絡(luò)的協(xié)同損失函數(shù)，是一個超參數(shù)，用來權(quán)衡重建損失函數(shù)和協(xié)同損失函數(shù)的比重；為第一合成域訓(xùn)練樣本集S₁對應(yīng)標(biāo)簽圖像，即為合成含雨圖像對應(yīng)的清晰圖像；

重建損失函數(shù)如下：

其中，|...|₁表示為機(jī)器學(xué)習(xí)中L1損失函數(shù)；

協(xié)同損失函數(shù)如下：

其中，|...|₁表示為機(jī)器學(xué)習(xí)中L1損失函數(shù)；

針對雙分支圖像去雨網(wǎng)絡(luò)模型中第二個分支網(wǎng)絡(luò)的協(xié)同學(xué)習(xí)策略如下：

將第一合成域訓(xùn)練樣本集S₁中圖像輸入雙分支圖像去雨網(wǎng)絡(luò)模型中，第一個分支網(wǎng)絡(luò)的輸出結(jié)果為第二個分支網(wǎng)絡(luò)的輸出結(jié)果為將第二合成域訓(xùn)練樣本集S₂中圖像輸入雙分支圖像去雨網(wǎng)絡(luò)模型中，第一個分支網(wǎng)絡(luò)的輸出結(jié)果為第二個分支網(wǎng)絡(luò)的輸出結(jié)果為通過構(gòu)建損失函數(shù)L₂實(shí)現(xiàn)第二個分支網(wǎng)絡(luò)的協(xié)同學(xué)習(xí)，損失函數(shù)L₂如下：

其中，是第二個分支網(wǎng)絡(luò)的重建損失函數(shù)，是第二個分支網(wǎng)絡(luò)的協(xié)同損失函數(shù)，是一個超參數(shù)，用來權(quán)衡重建損失函數(shù)和協(xié)同損失函數(shù)的比重；為第二合成域訓(xùn)練樣本集S₂對應(yīng)標(biāo)簽圖像，即為合成含雨圖像對應(yīng)的清晰圖像；

重建損失函數(shù)如下：

其中，|...|₁表示為機(jī)器學(xué)習(xí)中L1損失函數(shù)；

協(xié)同損失函數(shù)如下：

其中，|...|₁表示為機(jī)器學(xué)習(xí)中L1損失函數(shù)；

步驟4、利用面向真實(shí)領(lǐng)域的跨域?qū)W習(xí)策略，基于真實(shí)域訓(xùn)練樣本集R訓(xùn)練初始雙分支圖像去雨網(wǎng)絡(luò)模型；當(dāng)達(dá)到預(yù)定的訓(xùn)練次數(shù)E時，獲得訓(xùn)練好的雙分支圖像去雨網(wǎng)絡(luò)模型，轉(zhuǎn)入步驟5；否則返回步驟3；

步驟5、采集M張真實(shí)環(huán)境下含雨圖像，100＜M＜10000，分別通過歸一化處理，得到像素大小為h×w的M張真實(shí)含雨圖像，構(gòu)成測試樣本集；

步驟6、將測試樣本集中的真實(shí)含雨圖像輸入到訓(xùn)練好的雙分支圖像去雨網(wǎng)絡(luò)模型，去除真實(shí)含雨圖像中的雨紋信息。

2.根據(jù)權(quán)利要求1所述的一種基于跨域協(xié)同學(xué)習(xí)的圖像去雨方法，其特征在于，步驟2中，多尺度注意力殘差模塊的構(gòu)建方法如下：

通過局部最大池化方法獲取圖像的三個尺度分支，得到低級輸入特征，每個分支采用相同的卷積網(wǎng)絡(luò)對不同尺度的低級輸入特征進(jìn)行特征映射，提取高級語義特征；通過多分支跨尺度域信息融合方法，將不同分支之間的低級輸入特征和高級語義特征進(jìn)行跨尺度連接，提取到三個分支的跨尺度特征之后，通過特征級聯(lián)的方式對三個跨尺度特征進(jìn)行融合，得到多尺度融合特征；利用多尺度特征融合模塊代替基本殘差模塊中的卷積層，并加入注意力機(jī)制，構(gòu)建多尺度注意力殘差模塊。