[發明專利]光場圖像多倍率空間超分辨方法及裝置

有效

• 申請號: 202110017074.6
• 申請日: 2021-01-07
• 公開（公告）號: CN112767246B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 蘇麗娟;袁艷;葉子沐
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京潤捷智誠知識產權代理事務所(普通合伙) 11831
• 代理人: 安利霞

本發明公開了一種光場圖像多倍率空間超分辨方法及裝置，所述方法包括以下步驟：S1，訓練基于EDSR結構的單圖超分辨網絡；S2，使用訓練好的單圖超分辨網絡模型，對低空間分辨率光場圖像的所有視角圖像進行倍率為m的單圖超分辨；S3，從單圖超分辨結果中提取修復前的極平面圖像，構成極平面圖像立方體；S4，構建基于注意力殘差結構的U型極平面圖像立方體多倍率修復網絡；S5，訓練極平面圖像立方體多倍率修復網絡，使用訓練好的網絡模型修復極平面圖像立方體的信息，獲得恢復了空間目標在視角維度的幾何連續性的極平面圖像立方體；S6，將修復后的極平面圖像立方體重建為倍率為m的光場圖像空間超分辨結果。根據本發明的方法提升了網絡的超分辨效果。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種光場圖像多倍率空間超分辨方法及裝置。

背景技術

光場成像技術可以捕捉光線方向信息，通過一次拍照獲得空間場景多視角圖像，相比于傳統的成像技術，光場成像技術不僅能夠在探測器上獲取場景中目標的位置信息和光強信息，還能獲得光線的角度信息。因此，光場相機在深度估計、捕獲后重聚焦等任務中具有優勢。

基于微透鏡陣列的光場相機在廣義聚焦的情況下，視角分辨率與空間分辨率的乘積不能超過相機傳感器的分辨率。但是，探測器像元數目有限，為了記錄視角維度的信息，需要犧牲一些空間分辨率，使得光場圖像的視角圖像的空間分辨率較低，這是限制光場相機應用的一個重要因素。

現有技術中，通常采用圖像超分辨技術提高光場圖像的空間分辨率。但是，一方面，目前已有的基于學習的光場圖像空間超分辨算法對于不同放大倍率的情況，需要重新訓練網絡參數；另一方面，視角圖像堆棧或極平面圖像作為光場圖像空間超分辨網絡訓練對象時不能完善考慮空間信息在兩個視角維度上的分布的問題。綜上，上述技術存在改進空間。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明的一個目的在于提出一種光場圖像多倍率空間超分辨方法，所述光場圖像多倍率空間超分辨方法，有利于提升網絡的超分辨效果。

本發明還提出了一種采用了上述光場圖像多倍率空間超分辨方法的裝置。

根據本發明實施例的光場圖像多倍率空間超分辨方法，包括以下步驟：

S1，使用多種倍率的訓練數據，訓練基于EDSR結構的單圖超分辨網絡；

S2，使用訓練好的單圖超分辨網絡模型，對低空間分辨率光場圖像的所有視角圖像進行倍率為m的單圖超分辨；

S3，從單圖超分辨結果中提取修復前的極平面圖像，構成極平面圖像立方體；

S4，構建基于注意力殘差結構的U型極平面圖像立方體多倍率修復網絡；

S5，訓練極平面圖像立方體多倍率修復網絡，使用訓練好的網絡模型修復極平面圖像立方體的信息，獲得恢復了空間目標在視角維度的幾何連續性的極平面圖像立方體；

S6，將恢復后的極平面圖像立方體重建為倍率為m的光場圖像空間超分辨結果。

根據本發明的光場圖像多倍率空間超分辨方法，有利于提升網絡的超分辨效果。

根據本發明一個實施例的光場圖像多倍率空間超分辨方法，在步驟S3中，極平面圖像立方體為從四維光場圖像中提取的三維數據。

根據本發明一個實施例的光場圖像多倍率空間超分辨方法，在步驟S4中，U型極平面圖像立方體多倍率修復網絡包括：特征提取部分和特征重建部分。

根據本發明一個實施例的光場圖像多倍率空間超分辨方法，特征提取部分包括：卷積層模塊和多個基于注意力殘差結構的特征提取模塊；特征重建部分包括：卷積層模塊和多個基于殘差結構的特征重建模塊。