[發(fā)明專利]一種基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法

在審

• 申請?zhí)枺?/td>: 202210313655.9
• 申請日: 2022-03-28
• 公開（公告）號: CN114677304A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 李春國;李武斌;劉周勇;楊綠溪
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N5/02;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 孫建朋

1.一種基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，其特征在于，包括以下步驟：

步驟S1：構(gòu)建一個基于Unet結(jié)構(gòu)的端到端的深度神經(jīng)網(wǎng)絡(luò)模型，即教師網(wǎng)絡(luò)模型；

步驟S2：獲取模糊圖像數(shù)據(jù)集，運(yùn)用模糊圖像數(shù)據(jù)集中的清晰圖像集對教師網(wǎng)絡(luò)模型進(jìn)行有監(jiān)督訓(xùn)練，進(jìn)而得到收斂的教師網(wǎng)絡(luò)模型，該收斂的教師網(wǎng)絡(luò)模型實(shí)現(xiàn)高清圖像為輸入，經(jīng)前向運(yùn)算輸出多個中間特征并獲得復(fù)原的高清圖像；

步驟S3：構(gòu)建一個基于Unet結(jié)構(gòu)和可變形卷積的端到端的圖像去模糊模型，即學(xué)生網(wǎng)絡(luò)模型；

步驟S4：基于步驟S2中的模糊圖像數(shù)據(jù)集，利用步驟S2已收斂的教師網(wǎng)絡(luò)模型對學(xué)生網(wǎng)絡(luò)模型的中間特征輸出進(jìn)行監(jiān)督訓(xùn)練，進(jìn)而得到收斂的學(xué)生網(wǎng)絡(luò)模型，該收斂的學(xué)生網(wǎng)絡(luò)模型以模糊圖像為輸入，經(jīng)前向運(yùn)算輸出重建的去模糊圖像。

2.根據(jù)權(quán)利要求1所述的基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，其特征在于，所述步驟S2具體包括以下步驟：

步驟S201：獲取公開的模糊圖像數(shù)據(jù)集GOPRO，將數(shù)據(jù)集GOPRO劃分為訓(xùn)練集，驗(yàn)證集和測試集，分別包括2000對訓(xùn)練圖像對，103對驗(yàn)證圖像對和1111對測試圖像對；僅使用訓(xùn)練集的真實(shí)清晰圖像訓(xùn)練教師網(wǎng)絡(luò)模型；

步驟S202：數(shù)據(jù)預(yù)處理階段，從原始真實(shí)清晰圖像中隨機(jī)裁取256*256分辨率的圖像塊，對圖像塊進(jìn)行隨機(jī)水平和垂直翻轉(zhuǎn)數(shù)據(jù)增強(qiáng)處理，然后將圖像塊歸一化后輸入教師網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟S203：輸入清晰圖像經(jīng)過編碼器網(wǎng)絡(luò)特征提取，解碼器網(wǎng)絡(luò)特征重構(gòu)，最后進(jìn)行特征融合得到重建的清晰圖像；

步驟S204：采用L1損失函數(shù)對教師網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；

步驟S205：訓(xùn)練完成后的教師網(wǎng)絡(luò)模型對輸入清晰圖像進(jìn)行前向運(yùn)算，得到清晰圖像的多個不同尺度的解碼特征圖，最終輸出復(fù)原的清晰圖像，其中這些中間解碼特征圖用于后續(xù)監(jiān)督訓(xùn)練學(xué)生網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，其特征在于，所述步驟S4具體包括以下步驟：

步驟S401：利用步驟S2中劃分的數(shù)據(jù)集GOPRO作為訓(xùn)練集，驗(yàn)證集和測試集，其中訓(xùn)練集包括2000對模糊圖像和真實(shí)清晰圖像對，驗(yàn)證集包括103對模糊圖像和真實(shí)清晰圖像對，測試集包括1111對模糊圖像和真實(shí)清晰圖像對；

步驟S402：數(shù)據(jù)預(yù)處理階段，從原始圖像對中隨機(jī)裁取256*256分辨率的圖像對，經(jīng)過隨機(jī)水平和垂直翻轉(zhuǎn)數(shù)據(jù)增強(qiáng)處理，最后歸一化后輸入學(xué)生網(wǎng)絡(luò)模型，同時將圖像對中的真實(shí)清晰圖像輸入已收斂的教師網(wǎng)絡(luò)模型；

步驟S403：輸入模糊圖像經(jīng)過編碼器網(wǎng)絡(luò)特征提取，解碼器網(wǎng)絡(luò)特征重構(gòu)，最后進(jìn)行特征融合輸出重建的去模糊圖像；同時教師網(wǎng)絡(luò)模型對256*256的真實(shí)清晰圖像進(jìn)行前向運(yùn)算，得到多個清晰圖像的中間特征圖，利用這些中間特征圖對學(xué)生網(wǎng)絡(luò)的解碼特征輸出進(jìn)行監(jiān)督訓(xùn)練；

步驟S404：采用L1損失函數(shù)和基于頻域的L1損失函數(shù)對學(xué)生網(wǎng)絡(luò)輸出圖像進(jìn)行監(jiān)督訓(xùn)練；

步驟S405：利用優(yōu)化后可用的學(xué)生網(wǎng)絡(luò)模型對輸入的測試集模糊圖像進(jìn)行前向運(yùn)算，可獲得復(fù)原的去模糊圖像。

4.根據(jù)權(quán)利要求3所述的基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，其特征在于，步驟S204具體包括以下步驟：

在訓(xùn)練過程中使用Adam優(yōu)化器，以余弦退火的方式不斷衰減學(xué)習(xí)率，當(dāng)訓(xùn)練到驗(yàn)證集上的峰值信噪比和結(jié)構(gòu)相似性不再增加時，網(wǎng)絡(luò)停止訓(xùn)練，進(jìn)而得到優(yōu)化后的可用的教師網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求4所述的基于知識蒸餾和深度神經(jīng)網(wǎng)絡(luò)的圖像去模糊算法，其特征在于，步驟S404具體包括以下步驟：學(xué)生網(wǎng)絡(luò)總體的損失函數(shù)L_total為：

L_total＝L₁+L_fft1+L_feats

其中L₁表示重建損失，L_fft1表示基于頻域的重建損失，L_feats表示中間特征重建損失；在訓(xùn)練過程中使用Adam優(yōu)化器，以余弦退火的方式不斷衰減學(xué)習(xí)率，當(dāng)訓(xùn)練到驗(yàn)證集上的峰值信噪比和結(jié)構(gòu)相似性不再增加時，學(xué)生網(wǎng)絡(luò)停止訓(xùn)練，進(jìn)而得到優(yōu)化后可用的圖像去模糊網(wǎng)絡(luò)模型。