[發明專利]一種基于多平面圖像學習視角合成的基線擴展實現方法

在審

• 申請號: 202011105754.5
• 申請日: 2020-10-15
• 公開（公告）號: CN112233165A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 張淼;樸永日;孫小飛
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T15/04;G06T15/10;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

1.一種基于多平面圖像學習視角合成的基線擴展實現方法，其特征在于，包括以下步驟：

步驟1、基于視頻剪輯獲取立體圖像對；所述立體圖像對包括由第一相機采集的第一幅圖像I₁和由第二相機采集的第二幅圖像I₂；

步驟2、將所述第二幅圖像I₂重新投影到所述第一相機的坐標系下的一組固定深度平面上，計算平面掃描量，得到重新投影的圖像表示I₂重新投影到I₁視角下深度為D的平面上的圖像；

步驟3、將所述重新投影的圖像沿著顏色通道級聯，得到維度為H×W×3D的張量再將所述張量與所述第一幅圖像級聯，得到維度為H×W×3(D+1)的輸入張量；其中，H和W表示投影圖像的長和寬，D表示深度；

步驟4、將所述輸入張量輸入訓練好的基于深度神經網絡的MPI學習網絡，得到多平面圖像MPI的RGBA分層表示；

步驟5、基于MPI的RGBA分層表示，合成同一場景的輸入視圖之外的視圖。

2.根據權利要求1所述的方法，其特征在于，獲取立體圖像對包括：

基于視頻剪輯選取連續N幀視頻子序列；其中，N為大于2的正整數；

從所述視頻子序列中隨機選取立體圖像對。

3.根據權利要求1所述的方法，其特征在于，得到多平面圖像MPI的RGBA分層表示，包括：

獲取所述MPI學習網絡的網絡輸出；所述網絡輸出包括每一個平面的α通道、全局RGB背景圖像和每個平面的混合權重圖像W_d，

基于所述網絡輸出得到多平面圖像MPI的RGBA分層表示。

4.根據權利要求1所述的方法，其特征在于，用于訓練所述MPI學習網絡的訓練集由元組I₁,I₂,I_t,c₁,c₂,c_t〉組成，其中I_t和c_t＝(p_t,k_t)分別表示目標真值圖像和其對應的相機參數，其中p_t和k_t分別表示針對目標視圖的相機外參和內參。

5.根據權利要求1所述的方法，其特征在于，基于所述MPI的RGBA分層表示，合成同一場景的輸入視圖之外的視圖，包括：

對每個平面的RGBA圖像進行平面變換；

將變換后的圖像進行alpha合成，以從后到前的順序合成視圖。

6.根據權利要求4所述的方法，其特征在于，訓練所述MPI學習網絡包括：優化網絡參數；

對于所述訓練集，通過以下方式優化網絡參數：

其中，f_θ(I₁,I₂,c₁,c₂)為學習得到的MPI，R(·)表示渲染流程，所述渲染流程使用學習得到的MPI合成目標相機c_t的新視圖，L(·)是合成圖像和目標圖像之間的損失函數；

使用深度特征匹配損失。

7.根據權利要求6所述的方法，其特征在于，使用深度特征匹配損失包括：使用歸一化的VGG-19中的特征層進行深度特征匹配損失，匹配如下：

其中，{φ_l}是VGG-19中的一組層，權重超參數{λ_l}設置為每一層中神經元數量的倒數。

8.根據權利要求1所述的方法，其特征在于，所述深度平面與MPI的深度平面一致。

9.根據權利要求1所述的方法，其特征在于：所述D取32。

10.根據權利要求1所述的方法，其特征在于：固定深度平面中最近平面和最遠平面分別為1m和100m。