[發(fā)明專利]基于成像建模和知識蒸餾的盲圖像超分辨重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110348668.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113096013B
• 公開（公告）日: 2021-11-26
• 發(fā)明（設計）人: 潘金山;劉謙;唐金輝
• 申請（專利權(quán)）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 韓雪梅

1.一種基于成像建模和知識蒸餾的盲圖像超分辨重建方法，其特征在于，所述方法包括：

步驟S1：將第一分辨率圖像代入模糊核估計網(wǎng)絡進行估計，獲得模糊核；

步驟S2：將所述第一分辨率圖像代入深度圖像超分辨率網(wǎng)絡進行估計，獲得深度內(nèi)蘊特征知識圖像；

步驟S3：根據(jù)所述模糊核、所述第一分辨率圖像和所述深度內(nèi)蘊特征知識圖像進行圖像復原，獲得已求解的中間分辨率圖像；

步驟S4：將所述已求解的中間分辨率圖像代入圖像修正網(wǎng)絡進行圖像修正，獲得第二分辨率圖像；第二分辨率圖像的分辨率大于第一分辨率圖像的分辨率；

步驟S5：判斷是否滿足收斂條件；如果滿足收斂條件，則輸出第二分辨率圖像；如果不滿足收斂條件，則執(zhí)行“步驟S6”，令更新后的深度圖像超分辨率網(wǎng)絡為深度圖像超分辨率網(wǎng)絡，更新后的模糊核估計網(wǎng)絡為模糊核估計網(wǎng)絡，更新后的圖像修正網(wǎng)絡為圖像修正網(wǎng)絡，并返回“步驟S1”；

步驟S6：更新模糊核估計網(wǎng)絡、深度圖像超分辨率網(wǎng)絡和圖像修正網(wǎng)絡；

所述步驟S3包括：

步驟S31：通過卷積操作，根據(jù)所述模糊核確定模糊矩陣K；

步驟S32：采用快速傅立葉變換，對進行知識蒸餾求解，獲得已求解的中間分辨率圖像；其中，I^*表示已求解的中間分辨率圖像，表示待求解的中間分辨率圖像，L表示第一分辨率圖像，K表示模糊矩陣，S表示具有比例因子的降采樣矩陣，λ表示權(quán)重參數(shù)，表示深度圖像超分辨率網(wǎng)絡，|| ||₂表示2-范數(shù)。

2.根據(jù)權(quán)利要求1所述的基于成像建模和知識蒸餾的盲圖像超分辨重建方法，其特征在于，所述步驟S5具體包括：

步驟S51：判斷第二分辨率圖像的峰值信噪比是否收斂達到穩(wěn)定；如果第二分辨率圖像的峰值信噪比收斂達到穩(wěn)定，則輸出第二分辨率圖像；如果第二分辨率圖像的峰值信噪比沒有收斂達到穩(wěn)定，則執(zhí)行“步驟S6”，并令更新后的深度圖像超分辨率網(wǎng)絡為深度圖像超分辨率網(wǎng)絡，更新后的模糊核估計網(wǎng)絡為模糊核估計網(wǎng)絡，更新后的圖像修正網(wǎng)絡為圖像修正網(wǎng)絡，并返回“步驟S1”；

或步驟S52：根據(jù)模糊核估計損失函數(shù)、特征提取損失函數(shù)和圖像修正損失函數(shù)確定總損失函數(shù)

步驟S53：判斷總損失函數(shù)是否收斂保持穩(wěn)定；如果總損失函數(shù)收斂保持穩(wěn)定，則輸出第二分辨率圖像；如果總損失函數(shù)沒有收斂保持穩(wěn)定，則執(zhí)行“步驟S6”，并令更新后的深度圖像超分辨率網(wǎng)絡為深度圖像超分辨率網(wǎng)絡，更新后的模糊核估計網(wǎng)絡為模糊核估計網(wǎng)絡，更新后的圖像修正網(wǎng)絡為圖像修正網(wǎng)絡，并返回“步驟S1”。

3.根據(jù)權(quán)利要求1所述的基于成像建模和知識蒸餾的盲圖像超分辨重建方法，其特征在于，所述將第一分辨率圖像代入深度圖像超分辨率網(wǎng)絡進行估計，獲得深度內(nèi)蘊特征知識圖像，具體公式為：

其中，L表示第一分辨率圖像，I′表示在第一分辨率圖像中提取的深度內(nèi)蘊特征知識圖像，表示深度圖像超分辨率網(wǎng)絡。

4.根據(jù)權(quán)利要求1所述的基于成像建模和知識蒸餾的盲圖像超分辨重建方法，其特征在于，所述將所述已求解的中間分辨率圖像輸入到圖像修正網(wǎng)絡進行圖像修正，獲得第二分辨率圖像，具體公式為：

其中，I表示第二分辨率圖像，表示圖像修正網(wǎng)絡，I^*表示已求解的中間分辨率圖像。