[發明專利]可快速獲取多種自然退化圖像復原模型的遷移學習方法

有效

• 申請號: 202110529381.2
• 申請日: 2021-05-14
• 公開（公告）號: CN113450267B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 馬峻;尹翔宇;陳壽宏;徐翠鋒;郭玲
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

本發明涉及基于深度學習的計算機視覺技術領域，尤其涉及一種可快速獲取多種自然退化圖像復原模型的遷移學習方法；包括如下步驟：人工合成自然退化圖像通用數據集；利用自然退化圖像通用數據集對深度卷積神經網絡進行預訓練，得到通用復原模型；采用針對特定退化現象的數據集對通用復原模型進行遷移學習，對其部分卷積層參數進行微調訓練，得到特定自然退化現象的復原模型。從而可以通過重用一種預訓練的通用自然退化圖像復原模型，進行遷移學習，快速得到多種針對特定自然退化現象的復原模型。該方法不僅加快了訓練特定復原模型的速度，節省了訓練時間，減小了對大量退化數據的依賴，還能讓復原模型更加魯棒，復原效果更加穩定。

技術領域

本發明涉及基于深度學習的計算機視覺技術領域，尤其涉及一種可快速獲取多種自然退化圖像復原模型的遷移學習方法。

背景技術

引起圖像退化的自然現象有很多。例如霧霾、雨、雪等氣候現象會導致獲取的圖像對比度下降或出現小塊的景物遮擋，水下圖像和沙塵煙霧圖像中不僅會遭受霧狀的模糊現象還可能存在場景光線顏色的畸變。為了改善捕獲的圖像視覺質量和后續機器人以及自動駕駛等應用技術的實際效果，近幾年出現大量退化圖像復原方法。傳統的圖像復原算法通常依賴于一些光學先驗知識和物理模型，不僅準確率低，操作繁瑣，尤其存在對不同應用場合中圖像的泛化性能低的問題。基于深度學習的圖像復原方法，需要對每種退化現象采集并制作大量成對的數據集(包含遭受退化現象后的圖像和相同場景的未退化圖像)。將退化后的數據作為一個神經網絡的輸入，而利用其對應的未退化的數據計算損失函數以優化網絡參數。經過訓練的神經網絡即能具有對該特定退化現象的復原能力。但獲取大量的自然退化圖像作為訓練數據集是很困難的，訓練過程中也需要耗費大量的算力和訓練時間。本發明將遷移學習技術結合到深度學習方法中，解決對大量成對數據集的需求，并能提升模型的訓練速度。同時在一定程度上保證了復原模型的魯棒性和泛化能力。

發明內容

本發明的目的在于提供一種可快速獲取多種自然退化圖像復原模型的遷移學習方法，通過重用一種自然現象的通用復原模型快速獲取多種特定自然退化現象的圖像復原模型。

為實現上述目的，本發明采用的一種可快速獲取多種自然退化圖像復原模型的遷移學習方法，包括如下步驟：

人工合成自然退化圖像通用數據集；

利用所述自然退化圖像通用數據集對深度卷積神經網絡進行預訓練，得到通用復原模型；

采用特定退化現象的數據集對所述通用復原模型進行遷移學習，對其部分卷積層參數進行微調訓練，得到該種特定自然退化現象的圖像復原模型。

首先生成一種人工合成的退化圖像數據集，能模擬多種自然退化現象中共有的退化表現，即該數據集能作為各種自然退化圖像共同的源域。然后利用該數據集訓練一種深度卷積神經網絡，得到對多種自然退化現象中共有特征的通用復原模型，即該網絡能從各種自然退化現象共同的源域映射到其清晰的復原圖像域。最后，用少量包含特定退化現象的圖像數據，即目標域數據，對該通用復原網絡中的某些層進行快速地微調訓練，實現遷移學習，即可快速獲得該特定退化現象的復原模型。

其中，人工合成自然退化圖像通用數據集包括：

利用現有RGB-D數據集，根據退化圖像生成模型和隨機生成的模型參數人工合成包含自然退化現象的圖像數據集。

其中，所述RGB-D數據集由清晰圖像數據集及其深度信息構成。

清晰圖像數據集及其深度信息共同構成所述RGB-D數據集。

其中，所述自然退化圖像通用數據集能夠模擬包括霧霾、煙霧、水下、雨雪在內的多種自然現象導致的退化圖像中共同的退化表現。

其中，利用所述自然退化圖像通用數據集對適用于圖像轉換任務的深度卷積神經網絡進行端到端地預訓練，具體為：