[發明專利]基于卷積神經網絡的光場角度超分辨率方法及裝置

在審

• 申請號: 201711462902.7
• 申請日: 2017-12-28
• 公開（公告）號: CN108230223A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 劉燁斌;吳高昌;戴瓊海;柴天佑
• 申請（專利權）人: 清華大學
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06T5/00;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于卷積神經網絡的光場角度超分辨率方法，其特征在于，包括以下步驟：

根據低角度分辨率光場提取多個二維極線平面圖；

通過一維高斯核函數對所述多個二維極線平面圖的每個極線平面圖提取出空間低頻信息；

根據所述每個極線平面圖提取出的空間低頻信息通過雙三次插值方法進行角度維度的上采樣，使其達到期望的角度分辨率；

通過卷積神經網絡對上采樣后的極線平面圖重建出角度信息；

通過非盲去模糊操作恢復所述極線平面圖的空間高頻信息，以獲取角度超分辨率后的高空間角度分辨率的極線平面圖；以及

根據所述角度超分辨率后的高空間角度分辨率的極線平面圖輸出高角度分辨率光場。

2.根據權利要求1所述的基于卷積神經網絡的光場角度超分辨率方法，其特征在于，所述一維高斯核函數為：

其中，c為核函數的尺度調節參數，σ為核函數的形狀調節參數，x為空間坐標，κ為一維高斯卷積核。

3.根據權利要求1所述的基于卷積神經網絡的光場角度超分辨率方法，其特征在于，所述卷積神經網絡為殘差網絡，且所述卷積神經網絡為：

f(E′_L)＝E′_L+R(E′_L)，

其中，E′_L＝(E_L*κ)↑為經過高斯核函數κ提取角度低頻信息后的極線平面圖，R為殘差網絡。

4.根據權利要求1所述的基于卷積神經網絡的光場角度超分辨率方法，其特征在于，通過以下公式獲取所述角度超分辨率后的高空間角度分辨率的極線平面圖：

其中，非盲去模糊操作D_κ使用的核函數為一維高斯核函數κ。

5.根據權利要求4所述的基于卷積神經網絡的光場角度超分辨率方法，其特征在于，所述殘差網絡包括三層卷積層，第一層層卷積層L₁包括64個1×9×9的核，第二層層卷積層L₂包括32個64×5×5的核，第三層層卷積層L₃包括1個32×5×5的核，每一層后均連接有一個修正線性單元。

6.一種基于卷積神經網絡的光場角度超分辨率裝置，其特征在于，包括：

第一提取模塊，用于根據低角度分辨率光場提取多個二維極線平面圖；

第二提取模塊，用于通過一維高斯核函數對所述多個二維極線平面圖的每個極線平面圖提取出空間低頻信息；

采樣模塊，用于根據所述每個極線平面圖提取出的空間低頻信息通過雙三次插值方法進行角度維度的上采樣，使其達到期望的角度分辨率；

重建模塊，用于通過卷積神經網絡對上采樣后的極線平面圖重建出角度信息；

獲取模塊，用于通過非盲去模糊操作恢復所述極線平面圖的空間高頻信息，以獲取角度超分辨率后的高空間角度分辨率的極線平面圖；以及

輸出模塊，用于根據所述角度超分辨率后的高空間角度分辨率的極線平面圖輸出高角度分辨率光場。

7.根據權利要求6所述的基于卷積神經網絡的光場角度超分辨率裝置，其特征在于，所述一維高斯核函數為：

其中，c為核函數的尺度調節參數，σ為核函數的形狀調節參數，x為空間坐標，κ為一維高斯卷積核。

8.根據權利要求6所述的基于卷積神經網絡的光場角度超分辨率裝置，其特征在于，所述卷積神經網絡為殘差網絡，且所述卷積神經網絡為：

f(E′_L)＝E′_L+R(E′_L)，

其中，E_L′＝(E_L*κ)↑為經過高斯核函數κ提取角度低頻信息后的極線平面圖，R為殘差網絡。