[發(fā)明專利]一種基于殘差學(xué)習(xí)及空間變換網(wǎng)絡(luò)的光場超分辨率重建方法

在審

• 申請?zhí)枺?/td>: 202110254556.3
• 申請日: 2021-03-05
• 公開（公告）號: CN112950475A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計）人: 施云惠;馬振軒;王瑾;尹寶才
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

一種基于殘差學(xué)習(xí)及空間變換網(wǎng)絡(luò)的光場超分辨率重建方法屬于計算機視覺領(lǐng)域。本發(fā)明根據(jù)光場圖像空間分辨率低的問題對圖像進行超分辨率重建，首先設(shè)計了4+1的融合模型來學(xué)習(xí)光場圖像的特征，此外，為了更好的提取特征，本發(fā)明將空間變換網(wǎng)絡(luò)的定位器進行了改進。在具體操作中，將圖像按照相對位置分別輸入到改進的空間變換網(wǎng)絡(luò)中，通過遞歸結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進行特征重建與融合，期間充分利用了相鄰視圖的特征信息，彌補了其他方法對相鄰視點信息利用的不足，配合先進的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，使得模型具有更好的重建效果。

技術(shù)領(lǐng)域

本發(fā)明基于深度學(xué)習(xí)技術(shù)，研究了一種光場圖像的超分辨率重建方法，利用空間變換網(wǎng)絡(luò)STN(Spatial Transformer Networks)和遞歸學(xué)習(xí)的方法，本發(fā)明首先對光場圖像進行2D子視點圖像的提取，對其進行下采樣處理，然后將目標相鄰視點圖像的低分辨率視圖分別按照相對角度輸入到改進后的空間變換網(wǎng)絡(luò)中進行特征提取，之后得到目標圖像的近似圖，然后將目標圖像進行上采樣并進行卷積計算，將各路得到的結(jié)果放入遞歸結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)中進行特征的學(xué)習(xí)，在光場公開數(shù)據(jù)集上進行訓(xùn)練，從而最終獲得目標視圖的高分辨率圖像。本發(fā)明屬于計算機視覺領(lǐng)域，涉及深度學(xué)習(xí)，光場圖像處理，超分辨率重建等技術(shù)。

背景技術(shù)

作為革命性的成像技術(shù)，光場成像受到了學(xué)術(shù)界以及工業(yè)界的重點關(guān)注，特別是隨著商用全光相機的出現(xiàn)以及最近在虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)領(lǐng)域的貢獻。通過在主透鏡和圖像傳感器之間插入微透鏡陣列等附加光學(xué)組件的方法，全光相機能夠捕獲真實場景中光線的強度和方向信息，且其豐富的光線信息遠超傳統(tǒng)成像方法，結(jié)合計算成像技術(shù)可以實現(xiàn)多視點成像、全對焦成像、深度估計等功能。對于圖像采集來講，由于光場圖像補充了(θ，Φ)角度維度的信息，使得成像可以克服只有一個平面清晰成像的特點，這極大促進了大場景下AI識別任務(wù)的研究進程。對于渲染顯示方面來講，(θ，Φ)維度信息的增加，使得渲染物體的各向異性光線得到補充，顯得更加逼真，好萊塢電影渲染任務(wù)許多也采用了光場/反光場技術(shù)。

隨著光場成像的發(fā)展，光場圖像應(yīng)用的一個主要障礙是圖像中光線記錄信息的表達效率不高，并且由于傳感器分辨率的限制，光場圖像的分辨率等于角分辨率與空間分辨率的乘積，本質(zhì)上是以犧牲空間分辨率作為獲得角分辨率的方式，因此角分辨率和空間分辨率之間的相互掣肘問題愈發(fā)突顯，以實驗數(shù)據(jù)集來講，得到的子圖像分辨率只有544*376，將分辨率提升2倍或者4倍后，得到的圖像質(zhì)量很差，其他方法得到的結(jié)果并不理想，因為它們沒有有效的利用光場圖像視點相關(guān)的特性，光場中存儲了大量關(guān)于同一場景中光線的冗余信息，視圖間關(guān)聯(lián)性很強，本發(fā)明充分利用相鄰視圖的信息，通過對光場圖像進行超分辨率重建的方法，提高了光場圖像的空間分辨率，從而提高了光場圖像的總分辨率。

傳統(tǒng)超分辨率重建的方法有插值法、基于重建的方法，其中插值法常用的有最近鄰插值法、雙線性插值法、雙三次插值法，基于傳統(tǒng)插值的方法通常得到的重建圖像過于平滑，提供圖像的細節(jié)信息有限，高頻信息丟失嚴重，而基于重建的圖像超分辨率方法通常都是基于多幀圖像的，需要結(jié)合先驗知識，應(yīng)用場景有限且不靈活，故本發(fā)明采用基于學(xué)習(xí)的先進的卷積神經(jīng)網(wǎng)絡(luò)方法對光場圖像進行超分辨率重建。

深度學(xué)習(xí)作為近幾年模式識別和圖像處理等問題中的研究熱點，越來越受到人們的關(guān)注。其中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在圖像分類和目標檢測中展現(xiàn)了出色的效果，深層次的神經(jīng)元性的多參數(shù)網(wǎng)絡(luò)有助于提取圖像的細節(jié)特征，能有效的解決光場圖像超分辨率重建中的細節(jié)恢復(fù)問題，但傳統(tǒng)的基于學(xué)習(xí)的方法沒有有效的利用光場圖像相鄰視點之間的信息，故采用傳統(tǒng)的基于學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型難以有效地完成對光場圖像的超分辨率重建工作。