[發(fā)明專利]光場圖像重建模型訓(xùn)練及快速超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 202011164983.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112381711B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 王興政;游森林;昝永強(qiáng);鄧元龍
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 謝松

本發(fā)明提供了光場圖像重建模型訓(xùn)練及快速超分辨率重建方法，首先通過使用兩個(gè)不同的訓(xùn)練集對預(yù)設(shè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練出具有兩組模型參數(shù)的光場圖像重建模型，再分別利用訓(xùn)練得到的兩組模型參數(shù)對光場圖像進(jìn)行角度超分辨率重建和空間超分辨率重建。該方法基于同一圖像重建網(wǎng)絡(luò)模型，實(shí)現(xiàn)光場圖像空間和角度分辨率的提高。并且，本實(shí)施例提供的圖像重建網(wǎng)絡(luò)模型是受高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)(ESPCNN)的啟發(fā)而設(shè)計(jì)的，利用高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建方面的高效性，可快速地提高光場圖像的空間和角度分辨率，并可取得較佳的重建質(zhì)量。

技術(shù)鄰域

本發(fā)明涉及光場圖像處理技術(shù)領(lǐng)域，尤其涉及的是一種光場圖像重建模型訓(xùn)練方法及光場圖像快速超分辨率重建的方法。

背景技術(shù)

光場相機(jī)通過在主透鏡和圖像傳感器之間插入微透鏡陣列實(shí)現(xiàn)對四維光場的采集，但是，由于傳感器的限制，光場相機(jī)通過犧牲空間分辨率來換取角度分辨率，導(dǎo)致其空間分辨率遠(yuǎn)低于傳統(tǒng)相機(jī)。而從低空間分辨率的光場圖像中獲得的深度圖，存在分辨率低和細(xì)節(jié)信息少等問題。并且，深度圖的精度與角度分辨率密切相關(guān)，與從低角度分辨率的光場圖像獲得的深度圖相比，從高角度分辨率的光場圖像獲得的深度圖顯示出更高的精度。然而，由于光場相機(jī)存在著空間和角度分辨率相互制約的關(guān)系，限制了空間和角度分辨率的同時(shí)提高，導(dǎo)致從光場相機(jī)得到的深度圖不能滿足實(shí)際應(yīng)用中高精度的需求。

近年來，由于卷積神經(jīng)網(wǎng)絡(luò)具有出色的學(xué)習(xí)能力和強(qiáng)大的泛化能力，被成功地用于圖像超分辨率重建，但是目前應(yīng)用于光場圖像超分辨率重建的神經(jīng)網(wǎng)絡(luò)模型具有多個(gè)網(wǎng)絡(luò)分支，結(jié)構(gòu)復(fù)雜，整個(gè)重建過程耗時(shí)長，效率低下。

因此，現(xiàn)有技術(shù)有待于進(jìn)一步的改進(jìn)。

發(fā)明內(nèi)容

鑒于上述現(xiàn)有技術(shù)中的不足之處，本發(fā)明的目的在于提供一種光場圖像重建模型訓(xùn)練方法及快速超分辨率重建的方法，克服現(xiàn)有技術(shù)中用于實(shí)現(xiàn)光場圖像超分辨率重建過程效率低、耗時(shí)長的缺陷。

本發(fā)明實(shí)施例公開的方案如下：

第一方面，本實(shí)施例提供了一種光場圖像重建模型訓(xùn)練方法，其中，包括：

將第一訓(xùn)練集中的光場圖像輸入預(yù)設(shè)網(wǎng)絡(luò)模型，通過所述預(yù)設(shè)網(wǎng)絡(luò)模型得到與所述光場圖像對應(yīng)的第一目標(biāo)圖像，所述第一目標(biāo)圖像為角度超分辨率重建后的高角度低空間分辨率光場圖像；

其中，所述第一訓(xùn)練集包括多組第一訓(xùn)練樣本，每組第一訓(xùn)練樣本包括光場圖像以及對應(yīng)的第一圖像；所述第一圖像的角度分辨率高于所述光場圖像，為真值高角度低空間分辨率光場圖像；

將第二訓(xùn)練集中的子孔徑圖像輸入預(yù)設(shè)網(wǎng)絡(luò)模型，通過所述預(yù)設(shè)網(wǎng)絡(luò)模型得到與所述子孔徑圖像對應(yīng)的第二目標(biāo)圖像，所述第二目標(biāo)圖像為空間超分辨率重建后的子孔徑圖像；

其中，所述第二訓(xùn)練集包括多組第二訓(xùn)練樣本，每組第二訓(xùn)練樣本包括與所述光場圖像對應(yīng)的子孔徑圖像，以及與所述子孔徑圖像對應(yīng)的第二圖像；所述第二圖像的空間分辨率高于所述子孔徑圖像，為真值高空間分辨率子孔徑圖像；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述第一目標(biāo)圖像和所述第一圖像，對模型參數(shù)進(jìn)行修正，并繼續(xù)執(zhí)行所述根據(jù)所述第一訓(xùn)練集中光場圖像，訓(xùn)練所述光場圖像對應(yīng)的第一目標(biāo)圖像的步驟，直至所述預(yù)設(shè)網(wǎng)絡(luò)模型的訓(xùn)練情況滿足預(yù)設(shè)條件，得到光場圖像重建模型及其第一模型參數(shù)；

所述預(yù)設(shè)網(wǎng)絡(luò)模型根據(jù)所述第二目標(biāo)圖像和所述第二圖像，對模型參數(shù)進(jìn)行修正，并繼續(xù)執(zhí)行所述根據(jù)所述第二訓(xùn)練集中子孔徑圖像，訓(xùn)練所述子孔徑圖像對應(yīng)的第二目標(biāo)圖像的步驟，直至所述預(yù)設(shè)網(wǎng)絡(luò)模型的訓(xùn)練情況滿足預(yù)設(shè)條件，得到所述光場圖像重建模型的第二模型參數(shù)。

可選的，所述將第一訓(xùn)練集中的光場圖像輸入預(yù)設(shè)網(wǎng)絡(luò)模型，通過所述預(yù)設(shè)網(wǎng)絡(luò)模型得到與所述光場圖像對應(yīng)的第一目標(biāo)圖像的步驟之前，還包括：

采集原始光場圖像，構(gòu)建第一訓(xùn)練集和第二訓(xùn)練集；