[發明專利]虛擬視點合成方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202010853423.3
• 申請日: 2020-08-23
• 公開（公告）號: CN111988597B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 貝悅;王琦;程志鵬;顧嵩;蔡硯剛;王榮剛
• 申請（專利權）人: 咪咕視訊科技有限公司;北京大學;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/122
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;陳麗寧

1.一種虛擬視點合成方法，其特征在于，包括：

獲取參考視點的原始紋理圖和原始深度圖；

根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖；

獲取所述原始紋理圖和所述背景紋理圖之間的差異信息；

根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖；

根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成。

2.根據權利要求1所述的方法，其特征在于，所述根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖，包括：

根據所述參考視點的視頻幀序列，分別對所述原始紋理圖和所述原始深度圖進行時域的中值濾波，得到所述背景紋理圖和所述背景深度圖。

3.根據權利要求1所述的方法，其特征在于，所述獲取所述原始紋理圖和所述背景紋理圖之間的差異信息，包括：

計算所述背景紋理圖中各個像素點和所述原始紋理圖中對應像素點的像素值的差值；

所述根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖，包括：

根據所述差值，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖。

4.根據權利要求3所述的方法，其特征在于，所述根據所述差值，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖，包括：

根據所述差值和預設閾值的對比，獲取二值化圖；其中，當所述差值大于或等于所述預設閾值時，所述二值化圖中的對應像素點取值為第一值；或者，當所述差值小于所述預設閾值時，所述二值化圖中的對應像素點取值為第二值；

將所述原始深度圖中與第一像素點對應的像素點保留原始深度值，以及，利用所述背景深度圖，對所述原始深度圖中的與第二像素點對應的像素點進行深度值的覆蓋，得到所述優化后的深度圖；其中，所述第一像素點為所述二值化圖中的取值為第一值的像素點，所述第二像素點為所述二值化圖中的取值為第二值的像素點。

5.根據權利要求1所述的方法，其特征在于，所述根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成，包括：

使用所述原始紋理圖和所述優化后的深度圖進行基于深度圖的圖像繪制DIBR的虛擬視點合成。

6.一種虛擬視點合成裝置，其特征在于，包括：

第一獲取模塊，用于獲取參考視點的原始紋理圖和原始深度圖；

重建模塊，用于根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖；

第二獲取模塊，用于獲取所述原始紋理圖和所述背景紋理圖之間的差異信息；

優化模塊，用于根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖；

合成模塊，用于根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成。

7.根據權利要求6所述的裝置，其特征在于，所述重建模塊具體用于：

根據所述參考視點的視頻幀序列，分別對所述原始紋理圖和所述原始深度圖進行時域的中值濾波，得到所述背景紋理圖和所述背景深度圖。

8.根據權利要求6所述的裝置，其特征在于，

所述第二獲取模塊具體用于：計算所述背景紋理圖中各個像素點和所述原始紋理圖中對應像素點的像素值的差值；

所述優化模塊具體用于：根據所述差值，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖。

9.一種電子設備，其特征在于，包括處理器，存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1至5中任一項所述的虛擬視點合成方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1至5中任一項所述的虛擬視點合成方法的步驟。