[發明專利]光場圖像重建模型訓練及快速超分辨率重建方法

有效

• 申請號: 202011164983.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112381711B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 王興政;游森林;昝永強;鄧元龍
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 謝松

1.一種光場圖像重建模型訓練方法，其特征在于，包括：

將第一訓練集中的光場圖像輸入預設網絡模型，通過所述預設網絡模型得到與所述光場圖像對應的第一目標圖像，所述第一目標圖像為通過預設網絡模型進行角度超分辨率重建后的高角度低空間分辨率光場圖像；其中，所述第一訓練集包括多組第一訓練樣本，每組第一訓練樣本包括光場圖像以及對應的第一圖像；所述第一圖像的角度分辨率高于所述光場圖像，為真值高角度低空間分辨率光場圖像；

將第二訓練集中的子孔徑圖像輸入預設網絡模型，通過所述預設網絡模型得到與所述子孔徑圖像對應的第二目標圖像，所述第二目標圖像為空間超分辨率重建后的子孔徑圖像；其中，所述第二訓練集包括多組第二訓練樣本，每組第二訓練樣本包括與所述光場圖像對應的子孔徑圖像，以及與所述子孔徑圖像對應的第二圖像；所述第二圖像的空間分辨率高于所述子孔徑圖像，為真值高空間分辨率子孔徑圖像；

所述預設網絡模型根據所述第一目標圖像和所述第一圖像，對模型參數進行修正，并繼續執行所述根據所述第一訓練集中光場圖像，訓練所述光場圖像對應的第一目標圖像的步驟，直至所述預設網絡模型的訓練情況滿足預設條件，得到光場圖像重建模型及其第一模型參數；

所述預設網絡模型根據所述第二目標圖像和所述第二圖像，對模型參數進行修正，并繼續執行所述根據所述第二訓練集中子孔徑圖像，訓練所述子孔徑圖像對應的第二目標圖像的步驟，直至所述預設網絡模型的訓練情況滿足預設條件，得到所述圖像重建模型的第二模型參數。

2.根據權利要求1所述的光場圖像重建模型訓練方法，其特征在于，所述將第一訓練集中的光場圖像輸入預設網絡模型，通過所述預設網絡模型得到與所述光場圖像對應的第一目標圖像的步驟之前，還包括：

采集原始光場圖像，構建第一訓練集和第二訓練集；

對所述原始光場圖像先進行空間分辨率下采樣處理，得到第一圖像；再進行角度分辨率下采樣處理，得到預處理后的光場圖像；

第一訓練集包括所述光場圖像以及對應的所述第一圖像，其中，所述光場圖像為對采集得到的所述原始光場圖像進行預處理后的低角度低空間分辨率光場圖像；

從所述第一圖像中提取出子孔徑圖像；從所述原始光場圖像中提取出子孔徑圖像，得到第二圖像；

第二訓練集包括所述子孔徑圖像以及對應的所述第二圖像。

3.根據權利要求1所述的光場圖像重建模型訓練方法，其特征在于，所述預設網絡模型包括：隱含層和亞像素卷積層；

所述將第一訓練集中的光場圖像輸入預設網絡模型，通過所述預設網絡模型得到與所述光場圖像對應的第一目標圖像的步驟包括：

將光場圖像輸入至所述隱含層，通過所述隱含層得到與所述光場圖像相對應的角度特征圖；

將所述角度特征圖輸入至所述亞像素卷積層，通過所述亞像素卷積層得到與所述光場圖像對應的第一目標圖像。

4.根據權利要求3所述的光場圖像重建模型訓練方法，其特征在于，所述隱含層包括：特征提取層和特征映射層；所述亞像素卷積層包括：上采樣濾波器和周期性混排算子；

所述將光場圖像輸入至所述隱含層，通過所述隱含層得到與所述光場圖像相對應的角度特征圖的步驟包括：

將光場圖像輸入至所述特征提取層，通過所述特征提取層得到與所述光場圖像相對應的第一角度特征圖；

將所述第一角度特征圖輸入至所述特征映射層，通過所述特征映射層得到與所述第一角度特征圖對應的第二角度特征圖；

所述將所述角度特征圖輸入至所述亞像素卷積層，通過所述亞像素卷積層得到與所述光場圖像對應的第一目標圖像的步驟包括：

將所述第二角度特征圖輸入至所述亞像素卷積層，通過所述上采樣濾波器，得到所述光場圖像在原始位置和經過水平、垂直、對角亞像素位移后對應的第三角度特征圖；

所述周期性混排算子將所述第三角度特征圖，按預設索引周期排序成所述第一目標圖像。