[發明專利]光場跨尺度的零次學習超分辨率方法

有效

• 申請號: 202010196773.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111369443B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 肖照林;劉崟海;金海燕;楊秀紅;蔡磊;李秀秀
• 申請（專利權）人: 浙江昕微電子科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 廣州中粵知識產權代理事務所(普通合伙) 44752
• 代理人: 李晨

本發明公開了光場跨尺度的零次學習超分辨率方法，對輸入的光場原始圖像進行解碼得到四維的光場矩陣；通過循環四維光場矩陣中的角度信息坐標提取u×v張不同角度的子孔徑信息；在每一行子孔徑圖像中依次提取每幅圖像相同高度的素點得到s幅光場EPI圖像；光場EPI圖像進行零次學習超分辨；超分辨以后的結果依次投影回原子孔徑圖像中的對應位置；通過步驟1?6最終可以得到經過零次學習超分辨以后的光場子孔徑圖像，即代表了光場圖像的不同視角。通過將零次學習與光場圖像相結合，實現一種光場圖像跨尺度超分辨的全新方法，為解決光場圖像問題提供了一種新的思路，取得了不錯的成果。

技術領域

本發明屬于計算機數字圖像處理技術領域，涉及光場跨尺度的零次學習超分辨率方法。

背景技術

在實際生活中，我們身邊的物體和場景都是三維的。傳統相機只能采集到空間光線的強度信息，丟失了光線的方向信息，從而損失了很多可利用信息，導致由傳統相機拍攝得到的圖像無法實現三維重建等效果。

近年來基于光場和計算機成像理論的光場相機成為研究的熱點，因為光場相機在一次拍照中可以獲取場景的四維特征數據：包括二維空間信息和二維角度信息，可以實現先拍照后聚焦的功能。由于在光場中獲得的額外二維角度信息使得其可以得到廣泛的應用，如合成孔徑圖像，重聚焦以及光場顯微鏡等。

光場成像的原理與傳統相機成像原理在電子構件上有所差異，傳統相機成像是光線穿過鏡頭而后傳播到成像平面上；光場成像原理差異在于在傳感器平面前增加一個微透鏡陣列，將穿過主鏡頭的光線再次穿過每個微透鏡，從而收獲光線的方向與位置信息，使成像結果在后期具有更多的可調節性。然而全光場相機能夠獲得比傳統相機更多的場景信息，是通過犧牲相機的空間分辨率換取角度分辨率來實現的。因此全光場相機需要平衡空間和角度分辨率之間的關系，目前來說，提高全光場相機主要有兩種方法：一是提高全光場相機的硬件配置，即提高微透鏡陣列的數量，這樣可以記錄來自更多方向的光線信息。二是利用計算機圖像處理的算法來提高分辨率。由于提高硬件配置在實施方面難度大，成本高，因此我們更多的選擇使用計算機圖像處理的算法來提高全光場相機的空間分辨率和角度分辨率。

傳統的深度學習超分辨是通過預先搭建好的網絡結構，輸入大量的訓練數據，通過長時間的訓練得到期望的模型，再利用該模型對輸入的測試圖像進行超分辨率重建，最終得到期望的圖像。而零次學習超分辨方法不依賴任何其他樣本圖片和預先訓練，使用圖像內部相似信息，在重建一張高分辨率圖像LR時，對輸入圖像LR進行降采樣，通過一個小型的CNN網絡學習二者之間的超分辨參數，最終利用超分辨率參數對圖像LR完成重建，得到最終結果。

發明內容

本發明的目的是提供一種光場跨尺度的零次學習超分辨率方法，在不改變全光場相機的硬件配置的前提下，通過使用跨尺度的零次學習超分辨方法實現光場圖像超分辨率重建，解決了圖像處理技術領域硬件配置實施難度大，成本高的問題。

本發明所采用的技術方案是，光場跨尺度的零次學習超分辨率方法，具體包括如下步驟：

步驟1：將光場原始圖像，光場白圖像以及相機參數依次讀入計算機軟件MATLAB中；

步驟2、對輸入的光場原始圖像進行解碼得到四維光場矩陣；

步驟3、通過循環四維光場矩陣中的角度信息[u,v]坐標提取u×v張不同角度信息的子孔徑圖像；

步驟4、對u行v列子孔徑圖像依次進行以下操作：從第一行子孔徑圖像開始循環，在每一行子孔徑圖像中依次提取每幅圖像相同高度的像素點得到s幅光場EPI圖像；

步驟5、對步驟4中得到的光場EPI圖像進行零次學習超分辨；

步驟6、將步驟5中超分辨以后的結果依次投影回原子孔徑圖像中的對應位置；

步驟7、通過步驟1-6最終可以得到經過零次學習超分辨以后的光場子孔徑圖像，即代表了光場圖像的不同視角。