[發明專利]一種基于卷積神經網絡的超分辨率圖像重建方法

在審

• 申請號: 202110337413.9
• 申請日: 2021-03-30
• 公開（公告）號: CN112837224A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 李鵬飛;李麗麗
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 黑龍江立超同創知識產權代理有限責任公司 23217
• 代理人: 楊立超

1.一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，包括以下步驟：

步驟一、獲取訓練圖像數據集和測試圖像數據集；其中，所述圖像為低分辨率圖像；

步驟二、設定訓練參數和內容損失函數，構建改進的超分辨率卷積神經網絡模型；

步驟三、使用所述訓練圖像數據集作為所述改進的超分辨率卷積神經網絡模型的輸入，調整所述訓練參數直至所述內容損失函數最小化，獲得訓練好的超分辨率卷積神經網絡模型；

步驟四、將所述測試圖像數據集輸入訓練好的超分辨率卷積神經網絡模型，獲得高分辨率圖像。

2.根據權利要求1所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，步驟二中訓練參數包括學習率和訓練次數；所述內容損失函數為均方誤差。

3.根據權利要求2所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，步驟二中所述改進的超分辨率卷積神經網絡模型包括特征提取模塊、非線性映射模塊、上采樣模塊和特征重組模塊，特征提取模塊的輸出與非線性映射模塊的輸入相連，非線性映射模塊的輸出與上采樣模塊的輸入相連，上采樣模塊的輸出與特征重組模塊的輸入相連；其中，所述特征提取模塊用于采用卷積操作從低分辨率圖像中提取特征信息；所述非線性映射模塊用于將特征信息映射到高維向量上，獲得多個高維特征圖；所述上采樣模塊用于對高維特征圖進行放大；所述特征重組模塊用于將放大后的多個高維特征圖重組，獲得高分辨率圖像。

4.根據權利要求3所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，所述非線性映射模塊中加入了跳躍連接的多個殘差塊，所述殘差塊的結構依次是卷積、塊的標準化、激活函數、卷積、塊的標準化、各元素對應乘積后求和，其中，所述激活函數是ReLU函數；所述上采樣模塊采用亞像素層卷積方法對特征圖進行重構，所述亞像素層卷積方法為：將多通道特征圖上的單個像素，按一定的組合方式形成一個特征圖單位，并且每個特征圖上的像素等價于新特征圖上的亞像素。

5.根據權利要求4所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，步驟二中所述改進的超分辨率卷積神經網絡模型還包括降維模塊，所述降維模塊用于采用卷積操作將特征圖的通道數降為RGB的3維通道。

6.一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，包括以下步驟：

步驟一、獲取訓練圖像數據集和測試圖像數據集；其中，所述圖像為低分辨率圖像；

步驟二、設定訓練參數和內容損失函數，構建改進的超分辨率卷積神經網絡模型；

步驟三、使用所述訓練圖像數據集作為所述改進的超分辨率卷積神經網絡模型的輸入，調整所述訓練參數直至所述內容損失函數最小化，獲得訓練好的超分辨率卷積神經網絡模型；

步驟四、將訓練好的超分辨率卷積神經網絡模型作為生成對抗網絡模型中的生成網絡模型，使用生成對抗損失函數同時訓練所述生成網絡模型和生成對抗網絡模型中的判別網絡模型，直到生成網絡和判別網絡達到納什平衡，獲得最終訓練好的生成網絡模型和判別網絡模型；

步驟五、將所述測試圖像數據集輸入步驟四中最終訓練好的生成網絡模型中，獲得高分辨率圖像。

7.根據權利要求6所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，步驟二中訓練參數包括學習率和訓練次數；所述內容損失函數為均方誤差。

8.根據權利要求7所述的一種基于卷積神經網絡的超分辨率圖像重建方法，其特征在于，步驟二中所述改進的超分辨率卷積神經網絡模型包括特征提取模塊、非線性映射模塊、上采樣模塊和特征重組模塊，特征提取模塊的輸出與非線性映射模塊的輸入相連，非線性映射模塊的輸出與上采樣模塊的輸入相連，上采樣模塊的輸出與特征重組模塊的輸入相連；其中，所述特征提取模塊用于采用卷積操作從低分辨率圖像中提取特征信息；所述非線性映射模塊用于將特征信息映射到高維向量上，獲得多個高維特征圖；所述上采樣模塊用于對高維特征圖進行放大；所述特征重組模塊用于將放大后的多個高維特征圖重組，獲得高分辨率圖像。