[發明專利]虛擬視點合成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110172711.7
• 申請日: 2021-02-08
• 公開（公告）號: CN112929628A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 程志鵬;王琦;劉香凝;顧嵩
• 申請（專利權）人: 咪咕視訊科技有限公司;北京大學;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04N13/128
• 分類號: H04N13/128
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

1.一種虛擬視點合成方法，其特征在于，包括：

根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定第一動靜標記圖；其中，所述第一動靜標記圖用于描述所述當前幀參考視點紋理圖中各個位置的像素是否屬于動態區域；

將所述第一動靜標記圖轉換為第二動靜標記圖；其中，所述第二動靜標記圖用于描述當前幀虛擬視點紋理圖中各個位置的像素是否屬于動態區域；

根據所述第二動靜標記圖，對不屬于動態區域的像素在當前幀虛擬視點深度圖中的深度值進行修正，得到優化后的當前幀虛擬視點深度圖；

根據當前幀參考視點紋理圖以及優化后的當前幀虛擬視點深度圖，生成當前幀虛擬視點紋理圖。

2.根據權利要求1所述的虛擬視點合成方法，其特征在于，所述根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定第一動靜標記圖，包括：

根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定所述當前幀參考視點紋理圖中的動態區域；

對所述動態區域中的像素進行鄰域擴展，得到所述第一動靜標記圖。

3.根據權利要求2所述的虛擬視點合成方法，其特征在于，所述根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定所述當前幀參考視點紋理圖中的動態區域，包括：

計算所述當前幀參考視點紋理圖中第一位置的像素與所述前一幀參考視點紋理圖中第一位置的像素之間的像素距離；其中，所述第一位置表示當前幀參考視點紋理圖或前一幀參考視點紋理圖中的任意一個位置；

將所述像素距離與預先設置的閾值進行比較，當所述像素距離小于所述閾值時，所述第一位置的像素不屬于動態區域，當所述像素距離大于或等于所述閾值時，所述第一位置的像素屬于動態區域。

4.根據權利要求2所述的虛擬視點合成方法，其特征在于，所述對所述動態區域中的像素進行鄰域擴展，包括：

對所述動態區域中的任意一個像素，將其周圍的(2N+1)×(2N+1)個像素均標記為屬于動態區域；其中，所述N為大于或等于1的自然數。

5.根據權利要求1所述的虛擬視點合成方法，其特征在于，所述根據所述第二動靜標記圖，對不屬于動態區域的像素在所述當前幀虛擬視點深度圖中的深度值進行修正，包括：

根據第二動靜標記圖，判斷當前幀虛擬視點紋理圖中的第二位置的像素是否屬于動態區域；

當所述第二位置的像素不屬于動態區域時，將所述當前幀虛擬視點深度圖中第二位置的像素的深度值修改為前一幀虛擬視點深度圖中第二位置的像素的深度值；

當所述第二位置的像素屬于動態區域時，保持所述當前幀虛擬視點深度圖中第二位置的像素的深度值不變；其中，

所述第二位置為所述當前幀虛擬視點紋理圖或所述當前幀虛擬視點深度圖或所述前一幀虛擬視點深度圖中的任意一個位置。

6.根據權利要求1所述的虛擬視點合成方法，其特征在于，方法還包括：

將當前幀參考視點深度圖轉換為當前幀虛擬視點深度圖；具體包括：

根據參考相機的內部參數，將當前幀參考視點深度圖中的坐標變換到參考相機坐標系下的坐標；

根據三維空間中的坐標變換，將所述參考相機坐標系下的坐標，變換到虛擬視點所在相機的坐標系下的坐標；

對所述虛擬視點所在相機坐標系下的坐標進行反變換，得到當前幀虛擬視點深度圖的坐標。

7.根據權利要求1所述的虛擬視點合成方法，其特征在于，所述根據當前幀參考視點紋理圖以及優化后的當前幀虛擬視點深度圖，生成當前幀虛擬視點紋理圖，包括：

根據優化后的當前幀虛擬視點深度圖，確定與所述當前幀虛擬視點紋理圖中的第三位置相對應的所述當前幀參考視點紋理圖中的第四位置；

將所述第四位置的像素值作為所述第三位置的像素值；其中，所述第三位置為所述當前幀虛擬視點紋理圖中的任意一個位置。