[發明專利]一種視點圖像處理方法及相關設備

在審

• 申請號: 201910901219.1
• 申請日: 2019-09-23
• 公開（公告）號: CN112541972A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 宋翼;邸佩云;向維;韓康;王冰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種視點圖像處理方法，其特征在于，包括：

獲取至少兩個第一視點圖像，所述至少兩個第一視點圖像包括分別在所述至少兩個視點位置采集到的圖像；

將所述至少兩個第一視點圖像和待合成的第二視點圖像的位置信息輸入虛擬視點合成網絡；其中，所述虛擬視點合成網絡為基于所述至少兩個第一視點圖像中每一個像素的自適應卷積核來合成所述第二視點圖像的網絡；所述位置信息表征所述第二視點圖像的視點位置，所述第二視點圖像在目標區域內，所述目標區域包括所述至少兩個第一視點圖像組成的區域；

通過所述虛擬視點合成網絡計算得到所述第二視點圖像。

2.根據權利要求1所述方法，其特征在于，所述通過所述虛擬視點合成網絡計算得到所述第二視點圖像，包括：

獲取所述至少兩個第一視點圖像之間的幾何特征矩陣，所述幾何特征矩陣為用于表征所述至少兩個第一視點圖像的像素之間幾何位置的關系信息的矩陣；

根據所述幾何特征矩陣和所述位置信息生成所述至少兩個第一視點圖像中每一個像素的自適應卷積核；

根據所述自適應卷積核和所述至少兩個第一視點圖像的像素生成所述至少兩個待處理的虛擬合成像素矩陣；

將所述至少兩個待處理的虛擬合成像素矩陣合成所述第二視點圖像。

3.根據權利要求2所述方法，其特征在于，所述獲取所述至少兩個第一視點圖像之間的幾何特征矩陣，包括：

分別提取所述至少兩個第一視點圖像中的特征得到所述至少兩個的特征矩陣；

將所述至少兩個的特征矩陣中的任意每兩個特征矩陣都執行互相關運算得到一個或多個運算后的特征矩陣；

在得到一個運算后的特征矩陣的情況下，將所述一個運算后的特征矩陣作為所述幾何特征矩陣；在得到多個運算后的特征矩陣的情況下，根據所述多個運算后的特征矩陣計算得到所述幾何特征矩陣。

4.根據權利要求2所述方法，其特征在于，所述獲取所述至少兩個第一視點圖像之間的幾何特征矩陣，包括：

分別提取所述至少兩個第一視點圖像的像素得到所述至少兩個的像素矩陣；

將所述至少兩個的像素矩陣組合成一個混合像素矩陣；

將所述混合像素矩陣輸入第一預設卷積神經網絡模型得到所述幾何特征矩陣。

5.根據權利要求2至4任一項所述方法，其特征在于，所述待合成的第二視點圖像的位置信息為坐標值，所述根據所述幾何特征矩陣和待合成的第二視點圖像的位置信息生成所述至少兩個第一視點圖像中每一個像素的自適應卷積核，包括：

將所述坐標值擴展為與所述幾何特征矩陣的行數和列數相同的位置矩陣；

將所述位置矩陣和所述幾何特征矩陣組成一個混合信息矩陣；

將所述混合信息矩陣分別輸入所述至少兩個的第二預設卷積神經網絡模型中，所述至少兩個的第二預設卷積神經網絡模型結構相同，參數不同；

根據所述至少兩個的第二預設卷積神經網絡模型的輸出結果確定所述至少兩個的第一視點圖像中每一個像素的自適應卷積核。

6.根據權利要求2至5任一項所述方法，其特征在于，所述根據所述自適應卷積核和所述至少兩個第一視點圖像的像素生成所述至少兩個待處理的虛擬合成像素矩陣，包括：

將所述至少兩個第一視點圖像中的每一個像素的自適應卷積核與以所述每一個像素為中心的像素矩陣一一對應地做卷積，得到所述每一個像素的像素位置對應的虛擬合成像素；所述像素矩陣的行數與所述每一個像素的自適應卷積核的行數相同，所述像素矩陣的列數與所述每一個像素的自適應卷積核的列數相同；

將得到的所述虛擬合成像素組成所述至少兩個的虛擬合成像素矩陣。