[發明專利]一種全局-局部自適應優化的全景光場拼接方法

在審

• 申請號: 202011438515.1
• 申請日: 2020-12-07
• 公開（公告）號: CN112465704A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 金欣;周思瑤
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 方艷平

1.一種全局-局部自適應優化的全景光場拼接方法，其特征在于，包括以下步驟：

S1：輸入多個待拼接光場；

S2：提取、匹配和篩選待拼接光場的特征點，以計算得到所有待拼接光場的全局單應性變換矩陣；

S3：將多個待拼接光場分別進行4D網格化，根據所述全局單應性變換矩陣評價每個網格的全局配準精度，計算全局配準精度低于預設閾值的網格的局部單應性變換矩陣，并根據所述局部單應性變換矩陣評價對應的網格的局部配準精度；

S4：比較全局配準精度和局部配準精度，對于每個網格取精度最高的單應性變換矩陣，融合光場，得到拼接結果。

2.根據權利要求1所述的全景光場拼接方法，其特征在于，步驟S1具體還包括：解碼和預處理多個待拼接光場以得到光場子孔徑圖像陣列：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}

其中SAI_i(u₀,v₀)是光場在視角(u₀,v₀)處的子孔徑圖像，待拼接光場L_i(u,v,s,t)解碼后得到光場子孔徑圖像陣列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是光場子孔徑圖像陣列的行數和列數，(u,v)為角度域坐標，(s,t)為空間域坐標。

3.根據權利要求1所述的全景光場拼接方法，其特征在于，步驟S1具體還包括：將多個待拼接光場投影至雙球面坐標系，其中雙平面坐標和雙球面坐標之間的轉換關系為：

其中，是角度域球坐標，是空間域球坐標，(u,v)為角度域坐標，(s,t)為空間域坐標，r是雙球面的外球半徑，f是光場相機焦距，α₀是光場的俯仰角；

經過轉換后，得到雙球面坐標系下的待拼接光場

4.根據權利要求1所述的全景光場拼接方法，其特征在于，步驟S2具體包括：

S21：提取、匹配和篩選待拼接光場的特征點，計算待拼接光場對之間的單應性變換矩陣；

S22：確定參考光場和拼接順序，計算所有待拼接光場變換到所述參考光場所在的坐標系的全局單應性變換矩陣。

5.根據權利要求4所述的全景光場拼接方法，其特征在于，步驟S21具體包括：將輸入的多個待拼接光場兩兩配對，使用SIFT特征提取方法提取對應的子孔徑圖像中的特征點對，對每一組的特征點對使用連續一致抽樣檢測算法進行篩選，合并每一組篩選后的特征點對，得到光場中有效的匹配特征點對；

根據光場中有效的匹配特征點對預測得到待拼接光場對之間的單應性變換矩陣H_ij為：

P_j＝H_ijP_i

其中，P_i和P_j是待拼接光場L_i和待拼接光場L_j的有效匹配特征點對，H_ij表示待拼接光場L_i和待拼接光場L_j之間的單應性變換矩陣；

再根據下式求解待拼接光場對之間的單應性變換矩陣H_ij的最優解

其中，矩陣A_ij∈R^4N×25通過矩陣變換得到：0_4×1＝A_ij×H_ij，N為有效匹配特征點對的數量。