[發明專利]基于深度卷積神經網絡的新視角合成方法

有效

• 申請號: 201811507472.0
• 申請日: 2018-12-11
• 公開（公告）號: CN109584340B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 李兆歆;夏巖鈞;王兆其
• 申請（專利權）人: 蘇州中科廣視文化科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/0464
• 代理公司: 南京合礪專利商標代理事務所(普通合伙) 32518
• 代理人: 許云花

本發明公開了一種基于深度卷積神經網絡的新視角合成方法，通過深度卷積神經網絡預測新視角繪制中的各步驟依賴的一些關鍵數據，利用深度卷積神經網絡對數據的強大的擬合能力，從大量多視角圖像數據中學習新視角合成方法，該方法在較少的視角上也可以繪制出稠密的視角圖像，優化展示效果。

技術領域

本發明涉及攝像技術領域，具體是一種基于深度卷積神經網絡的新視角合成方法。

背景技術

在電子商務等業務中，存在使用多視角圖片序列展示物品的需求，更稠密的視角會有更好的展示效果，但圖片序列大小受網絡傳輸等條件的限制，只能保存較少的視角圖像，為了能在較少的視角基礎上得到更好的展示效果，可以利用已有視角的圖像合成新視角。

神經網絡由多個神經元計算單元組成，神經元由線性計算模塊和非線性模塊組合而成，通過梯度的反向傳播方法，神經網絡具有較強的擬合能力。而深度神經網絡通過疊加多層的計算模塊，增強了擬合能力，而卷積神經網絡，善于在類似圖像這類在空間維度上具有較強相關性的數據格式上的數據擬合能力。深度卷積神經網絡在圖像分類、檢測、風格遷移等領域有豐富的研究成果。

發明內容

發明目的：為了解決現有技術的不足，本發明所述的一種基于深度卷積神經網絡的新視角合成方法，使用深度卷積神經網絡合成新視角，輸入拍攝同一物體的相鄰視角，輸出中間視角的圖像內容。

技術方案：為了實現上述目的，本發明所述的一種基于深度卷積神經網絡的新視角合成方法，其特征在于：該方法包括以下步驟：

步驟一、對拍攝物體稠密的多視角圖像做訓練數據，采樣重復內容較多的一對視角作為輸入，選取這對視角的中間視角作為預測輸出訓練網絡參數；

步驟二、使用深度預測網絡預測圖像內容的深度；

步驟三、使用相機位姿變換預測網絡預測第一幀到第二幀的相機視角變換；

所述的相機位姿變換預測網絡為卷積深度神經網絡，由多個隱層疊加而成，隱層有線性的卷積運算和非線性的激活函數組成，最終層為全連接層預測8維向量，作為對偶四元數描述相機位姿的變化，與步驟二中的輸入一致，P_input(i)＝{P₁(i).r，P₁(i).g，P₁(i).b，P₂(i).r，P₂(i).g，P₂(i).b}

輸出對偶四元數:

步驟四、使用新視角預測網絡根據圖像深度信息和視角變換信息預測新視角內容；

左視角到右視角的相機變換為：

左視角到中間視角的相機變換為：

右視角到中間視角的相機變換為：

左視角的深度預測D₁，右視角的深度預測D₂，將對偶四元數轉換為變換矩陣R，深度轉化為點云格式P＝{x，y，z}，RP₁的齊次部分為從左視角預測中間視角每個像素對應的新的像素坐標。RP₂的齊次部分為從右視角預測中間視角每個像素對應的新的像素坐標；

將左右視角的原圖、預測中間視角結果、深度預測結果，以步驟三中的方法拼接，輸入新視角預測網絡中，輸出為中間視角圖像內容；

步驟五、網絡訓練時先對相機位姿預測網絡進行單獨訓練，再將三個網絡聯合在一起做訓練。

作為本發明的進一步優選，步驟一中，拍攝稠密的視角圖像作為真值訓練網絡預測新的視角的圖像。