[發明專利]一種基于模糊核估計的超分辨率重建方法

在審

• 申請號: 202211640579.9
• 申請日: 2022-12-20
• 公開（公告）號: CN116152061A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 邱超燁;徐煥宇;李富
• 申請（專利權）人: 無錫學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/11;G06N3/0475;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 彭曉勤

1.一種基于模糊核估計的超分辨率重建方法，其特征在于，包括以下步驟：

步驟1：構建MCRAGAN超分辨率網絡，所述MCRAGAN超分辨率網絡包括依次連接的MCRAN生成網絡和判別網絡；

步驟2：獲取原始高分辨率自然場景圖像，對原始高分辨率自然場景圖像進行目標區域的裁剪得到目標區域塊，對目標區域塊賦標簽為真；

對原始高分辨率自然場景圖像進行降質，得到符合真實場景分布的低分辨率圖像；對符合真實場景分布的低分辨率圖像進行目標區域的裁剪得到下采樣區域塊，對下采樣區域塊賦標簽為假；

步驟3：采用判別網絡對目標區域塊和下采樣區域塊進行準確度判別，輸出D-map熱力圖矩陣，得到優化后的MCRAN生成網絡；

步驟4：符合真實場景分布的低分辨率圖像和原始高分辨率自然場景圖像配對獲得LR-HR自然場景圖像對，LR-HR自然場景圖像對訓練MCRAGAN超分辨率網絡，獲得訓練后的MCRAGAN超分辨率網絡；將符合真實場景分布的低分辨率圖像輸入到訓練后的MCRAGAN超分辨率網絡中，得到相應的超分辨率自然場景圖像。

2.根據權利要求1所述一種基于模糊核估計的超分辨率重建方法，其特征在于，步驟1中所述MCRAN生成網絡包括依次連接的卷積層Conv_1、多個依次連接的MRAB模塊、卷積層Conv_2、卷積層Conv_3、卷積層Conv_4、亞像素卷積模塊組成；卷積層Conv_1、卷積層Conv_2、卷積層Conv_3均使用LeakyReLU非線性激活函數。

3.根據權利要求2所述一種基于模糊核估計的超分辨率重建方法，其特征在于，步驟1中所述判別網絡包括依次連接的第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層，第一卷積層～第四卷積層均使用LeakyReLU非線性激活函數；第五卷積層使用Sigmoid函數。

4.根據權利要求3所述一種基于模糊核估計的超分辨率重建方法，其特征在于，步驟1中所述判別網絡的第一卷積層、第二卷積層、第三卷積層步長為2，第四卷積層、第五卷積層步長為1，判別網絡的5層卷積的卷積核大小均為4×4，第一卷積層～第五卷積層的卷積核個數分別為64、128、256、512和1。

5.根據權利要求4所述一種基于模糊核估計的超分辨率重建方法，其特征在于，步驟2中對原始高分辨率自然場景圖像進行降質具體為，獲取原始真實場景低分辨率圖像，采用KernelGAN+網絡估計原始真實場景低分辨率圖像的模糊核和噪聲，模糊核和噪聲分別存放在模糊核池K和噪聲池N中，每張原始高分辨率自然場景圖像都從模糊核池K和噪聲池N中隨機抽取模糊核和噪聲并進行降質，得到符合真實場景分布的低分辨率圖像I_LR，完成模糊核估計；I_LR如下式所示；

I_LR＝(H*k)↓_a+n

其中，H表示原始高分辨率自然場景圖像；k和n分別表示模糊核和噪聲；*表示卷積操作，↓表示下采樣，a表示下采樣倍數。

6.根據權利要求5所述一種基于模糊核估計的超分辨率重建方法，其特征在于，所述KernelGAN+網絡通過KernelGAN網絡移除激活函數得到。

7.根據權利要求6所述一種基于模糊核估計的超分辨率重建方法，其特征在于，步驟3具體為，采用判別網絡對目標區域塊和下采樣區域塊進行準確度判別，輸出D-map熱力圖矩陣，D-map熱力圖矩陣中的每一個map值都是對目標區域塊和下采樣區域塊做真假概率的判斷，用概率表示map值；map值的范圍是0到1之間的數，概率越大，說明當前輸入的下采樣區域塊來源于原始高分辨率自然場景圖像的可能性越大；當判別網絡難以判斷目標區域塊和下采樣區域塊的區別時，此時MCRAN生成網絡的權重就接近真實的模糊核信息，得到優化后的MCRAN生成網絡。