[發明專利]一種基于復雜任務分解正則化的圖像復原模型、方法及設備

有效

• 申請號: 202010112555.0
• 申請日: 2020-02-24
• 公開（公告）號: CN111369451B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 謝春芝;高志升
• 申請（專利權）人: 黑蜂智造（深圳）科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 南通寧競智凡專利代理事務所(普通合伙) 32666
• 代理人: 孫珍珍

本申請實施例提供一種基于復雜任務分解正則化的圖像復原模型、方法及設備，包括特征提取與去噪子網、去模糊子網和圖像重建子網；特征提取與去噪子網包括卷積神經網絡、深度卷積神經網絡和降噪網絡；卷積神經網絡用于對原始模糊圖像進行特征提取，獲取第一特征圖；深度卷積神經網絡用于對原始模糊圖像進行特征提取進，獲取第二特征圖；降噪網絡用于根據第一特征圖和第二特征圖重建模糊圖像特征圖；去模糊子網用于去除模糊圖像特征圖中的湍流模糊獲得第三特征圖；圖像重建子網用于根據第三特征圖進行圖像重建并輸出重建后的清晰圖像；通過對任務進行分解，降低了問題的復雜度，網絡泛化能力增強，減少了過擬合問題，提高了圖像復原效果。

技術領域

本申請涉及圖像復原技術領域，具體而言，涉及一種基于復雜任務分解正則化的圖像復原模型、方法及設備。

背景技術

傳統的為解決復雜的初級視覺任務，一個容易想到的方法是增加模型的復雜度，提高模型的表示能力。更復雜的模型，意味著更多的參數，使得模型容易過擬合。為解決神經網絡過擬合問題，人們已經做出了大量的研究和思考。泛化邊界已針對許多功能進行了表征，這些限制中的許多是通過某種形式的正則化(通常為L2正則化)或通過限制函數類的復雜性而獲得的。神經網絡訓練過程中防止過擬合的主流策略除了以上方法外，最近還提出了網絡預訓練方法、網絡分層訓練方法以及對隱藏層使用輔助變量的方法。這一類方法是通用的，解決神經網絡訓練過程中過擬合的策略。

但是，低級視覺復雜的重建任務，尤其是多因素交織退化圖像的復原問題，難度很大。相比單一因素退化圖像(例如，運動模糊)的復原難度更大，退化模式更難學習，問題空間也更大。傳統的基于端到端的深度神經網絡圖像復原方法，在有限的訓練數據學習情況下，難以學到圖像的退化逆變換模式，從而復原效果欠佳。

發明內容

本申請的目的在于提供一種基于復雜任務分解正則化的圖像復原模型、方法及設備，用以實現任務分解，在減少問題復雜度的同時提高圖像復原效果的技術效果。

第一方面，本申請實施例提供了一種基于復雜任務分解正則化的圖像復原模型，包括特征提取與去噪子網、去模糊子網和圖像重建子網；所述特征提取與去噪子網包括卷積神經網絡、深度卷積神經網絡和降噪網絡；所述卷積神經網絡用于對原始模糊圖像進行特征提取，獲取第一特征圖；所述深度卷積神經網絡用于對所述原始模糊圖像進行特征提取進，獲取第二特征圖；所述降噪網絡用于根據所述第一特征圖和所述第二特征圖重建模糊圖像特征圖；所述去模糊子網用于去除所述模糊圖像特征圖中的湍流模糊獲得第三特征圖；所述圖像重建子網用于根據所述第三特征圖進行圖像重建并輸出重建后的清晰圖像。

進一步地，所述深度卷積神經網絡包括第一卷積層、第一深度卷積層、第二深度卷積層、第三深度卷積層和第四深度卷積層；所述第一卷積層分別與所述第二深度卷積層、所述第三深度卷積層和所述第四深度卷積層融合。

進一步地，所述第一卷積層的過濾尺寸為3*3；所述第一深度卷積層的過濾尺寸為1*1；所述第二深度卷積層的過濾尺寸為2*2；所述第三深度卷積層的過濾尺寸為3*3；所述第四深度卷積層的過濾尺寸為4*4。

進一步地，所述卷積神經網絡包括第一卷積層、第二卷積層、第三卷積層、第四卷積層和第五卷積層；所述原始模糊圖像依次經過所述第一卷積層、所述第二卷積層、所述第三卷積層、所述第四卷積層和所述第五卷積層進行卷積過濾；所述第一卷積層、所述第二卷積層、所述第三卷積層、所述第四卷積層和所述第五卷積層的過濾尺寸均為3*3。

進一步地，所述降噪網絡包括第六卷積層和第七卷積層；所述卷積神經網絡和所述深度卷積神經網絡進行卷積過濾后獲取到的特征圖依次經過所述第六卷積層和所述第七卷積層完成模糊圖像特征圖的重建；所述第六卷積層和第七卷積層的過濾尺寸為3*3。