[發明專利]一種虛擬視點合成方法、系統、介質、設備及終端

在審

• 申請號: 202210332563.5
• 申請日: 2022-03-31
• 公開（公告）號: CN114677477A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 魏敏;張應馳;朱燁;文武
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T19/20
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 王東旭

1.一種虛擬視點合成方法，其特征在于，所述虛擬視點合成方法包括兩個相互獨立的階段：

第一階段由空洞填補模塊多尺度融合部分卷積組成，用于對不規則空洞進行修復；第二階段由圖像優化模塊組成，用于去除虛擬視圖中的重疊、偽影和部分卷積帶來的局部色差。

2.如權利要求1所述的虛擬視點合成方法，其特征在于，所述虛擬視點合成方法包括以下步驟：

步驟一，通過參考色彩圖及深度圖經3D-Warping合成虛擬視圖；

步驟二，將帶有空洞、偽影和重疊的虛擬視圖經空洞填補模塊空洞填補；

步驟三，將填補空洞后的圖像經圖像優化模塊進行圖像質量的整體優化，輸出虛擬視圖。

3.如權利要求2所述的虛擬視點合成方法，其特征在于，所述步驟一中的虛擬視圖合成包括：

虛擬視圖的生成的核心是三維圖像變換3D-Warping，包括反向投影和重投影，利用已知參考視圖的深度信息將色彩圖像逆投影到3D世界坐標系中，并將世界坐標中的點重投影到虛擬視點平面；

3D-Warping的方程表示如以下公式所示：

P_w＝(K_rR_r)^-1(d_rp_r+K_rt_r)；

d_vp_v＝K_vR_vP_w-K_vt_v；

其中，P_w＝(X_w,Y_w,Z_w)^T表示3D世界坐標中像素點的坐標；p_r＝(u_r,v_r)和p_v＝(u_v,v_v)分別表示參考視點平面和虛擬視點平面的坐標；K_r、R_r、t_r和K_v、R_v、t_v分別表示參考視點對應攝像機和虛擬視點對應攝像機)的內參矩陣、旋轉矩陣和平移矩陣。d_r和d_v分別代表參考視點和虛擬視點在p_r和p_v坐標對應的深度值。

4.如權利要求2所述的虛擬視點合成方法，其特征在于，所述步驟二中的空洞填補網絡模塊包括編碼、解碼器和多尺度融合兩個部分；

編碼、解碼器使用類U-Net的網絡結構并以PConv作為網絡中的卷積方式，PConv的運算表示如下式所示：

其中，W是卷積的權重，b是卷積的偏差，X是當前卷積窗口的特征值，M是當前的二進制掩碼，1是大小與M相同，元素全為1的矩陣；

每次PConv的輸出值均取決于輸入的有效像素值，掩碼在每次PConv操作后更新，掩碼自動更新機制如下式所示：

其中，編碼器共采用7層部分卷積層，除第一層使用多尺度部分卷積外，均采用基本PConv，基本PConv的內核大小分別為5、5、3、3、3、3，通道數分別為128，256，512，512，512，512，步長大小均為2；解碼器共含有7個上采樣層，每層的擴張系數為2，解碼器中PConv的內核大小均為3，通道數分別為512，512，512，256，128，64，3，步長大小均為1；編碼器和解碼器分別使用ReLU和Leaky ReLU作為激活函數，除去編碼器的第一層和解碼器的最后一層外，每個PConv和激活函數之間使用批量歸一化層BN；同時在對應深度的編碼器和解碼器間加入跳躍連接以定位上采樣的特征；

利用多尺度卷積融合提取和表示多尺度特征，多尺度融合是將淺層的低級特征信息與編碼器的深層信息融合，編碼器的第一個卷積由卷積核大小分別為3、5、7的多尺度卷積構成；將多個卷積核卷積得到的特征圖拼接形成包含更多特征信息的特征圖后，通過與深層特征連接將淺層細節信息傳輸到網絡深層。