[發明專利]基于深度卷積神經網絡的新視角合成方法

有效

• 申請號: 201811507472.0
• 申請日: 2018-12-11
• 公開（公告）號: CN109584340B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 李兆歆;夏巖鈞;王兆其
• 申請（專利權）人: 蘇州中科廣視文化科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/0464
• 代理公司: 南京合礪專利商標代理事務所(普通合伙) 32518
• 代理人: 許云花

1.一種基于深度卷積神經網絡的新視角合成方法，其特征在于：該方法包括以下步驟：

步驟一、對拍攝物體稠密的多視角圖像做訓練數據，采用重復內容較多的一對視角作為輸入，選取這對視角的中間視角作為預測輸出訓練網絡參數；

步驟二、使用深度預測網絡預測圖像內容的深度；

步驟三、使用相機位姿變換預測網絡預測第一幀到第二幀的相機視角變換；

所述的相機位姿變換預測網絡為卷積深度神經網絡，由多個隱層疊加而成，隱層有線性的卷積運算和非線性的激活函數組成，最終層為全連接層預測8維向量，作為對偶四元數描述相機位姿的變化，網絡的輸入與步驟二中的輸入一致，即第一幀和第二幀兩圖的相同坐標位置的像素值拼接，

P_input(i)＝{P₁(i).r，P₁(i).g，P₁(i).b，P₂(i).r，P₂(i).g，P₂(i).b}

輸出為對偶四元數：

步驟四、使用新視角預測網絡根據圖像深度信息和視角變換信息預測新視角內容；

左視角到右視角的相機變換為：

左視角到中間視角的相機變換為：

右視角到中間視角的相機變換為：

左視角的深度預測D₁，右視角的深度預測D₂，將對偶四元數轉換為變換矩陣R，深度轉化為點云格式P＝{x，y，z}，RP₁的齊次部分為從左視角預測中間視角每個像素對應的新的像素坐標，RP₂的齊次部分為從右視角預測中間視角每個像素對應的新的像素坐標；

將左右視角的原圖、預測中間視角結果、深度預測結果，以步驟三中的方法拼接，輸入新視角預測網絡中，輸出為中間視角圖像內容，

步驟五、網絡訓練時先對相機位姿預測網絡進行單獨訓練，再將三個網絡聯合在一起做訓練。

2.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：步驟一中，拍攝稠密的視角圖像作為真值訓練網絡預測新的視角的圖像。

3.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：所述步驟二中，通過設計深度卷積神經網絡預測圖像內容深度。

4.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：所述步驟三中，通過設計深度卷積神經網絡預測相機視角變換。

5.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：步驟四中通過使用深度卷積神經網絡合成新視角圖像。

6.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：步驟四中，通過設計深度卷積神經網絡根據預測的深度信息與視角變換信息來預測新視角內容。

7.根據權利要求1所述的基于深度卷積神經網絡的新視角合成方法，其特征在于：所述步驟五中，通過訓練網絡時先對相機視角變換預測網絡進行預訓練。