[發明專利]虛擬視點合成方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202010853423.3
• 申請日: 2020-08-23
• 公開（公告）號: CN111988597B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 貝悅;王琦;程志鵬;顧嵩;蔡硯剛;王榮剛
• 申請（專利權）人: 咪咕視訊科技有限公司;北京大學;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/122
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;陳麗寧

本發明公開了一種虛擬視點合成方法、裝置、電子設備及可讀存儲介質，屬于圖像處理技術領域。具體實現方案包括：獲取參考視點的原始紋理圖和原始深度圖；根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖；獲取所述原始紋理圖和所述背景紋理圖之間的差異信息；根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖；根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成。根據本申請中方案，可以提升對深度圖的改善效果，從而有效改善虛擬視點視頻的時域穩定性。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種虛擬視點合成方法、裝置、電子設備及可讀存儲介質。

背景技術

目前，針對虛擬視點視頻提升時域穩定性的方法通常是，對原始深度圖進行預處理操作，比如對原始深度圖進行中值濾波，并基于預處理后的深度圖進行虛擬視點合成。但是，由于現有技術在深度圖的預處理方面，往往是采用簡單的中值濾波等方式進行預處理，將會對深度圖的改善效果有限，從而無法有效改善虛擬視點視頻的時域穩定性。

發明內容

本發明實施例的目的是提供一種虛擬視點合成方法、裝置、電子設備及可讀存儲介質，以解決目前方法無法有效改善虛擬視點視頻的時域穩定性的問題。

為了解決上述技術問題，本發明是這樣實現的：

第一方面，本發明實施例提供了一種虛擬視點合成方法，包括：

獲取參考視點的原始紋理圖和原始深度圖；

根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖；

獲取所述原始紋理圖和所述背景紋理圖之間的差異信息；

根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖；

根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成。

可選的，所述根據所述原始紋理圖和所述原始深度圖，重建得到所述參考視點的背景紋理圖和背景深度圖，包括：

根據所述參考視點的視頻幀序列，分別對所述原始紋理圖和所述原始深度圖進行時域的中值濾波，得到所述背景紋理圖和所述背景深度圖。

可選的，所述獲取所述原始紋理圖和所述背景紋理圖之間的差異信息，包括：

計算所述背景紋理圖中各個像素點和所述原始紋理圖中對應像素點的像素值的差值；

所述根據所述差異信息，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖，包括：

根據所述差值，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖。

可選的，所述根據所述差值，利用所述背景深度圖對所述原始深度圖進行優化，得到優化后的深度圖，包括：

根據所述差值和預設閾值的對比，獲取二值化圖；其中，當所述差值大于或等于所述預設閾值時，所述二值化圖中的對應像素點取值為第一值；或者，當所述差值小于所述預設閾值時，所述二值化圖中的對應像素點取值為第二值；

將所述原始深度圖中與第一像素點對應的像素點保留原始深度值，以及，利用所述背景深度圖，對所述原始深度圖中的與第二像素點對應的像素點進行深度值的覆蓋，得到所述優化后的深度圖；其中，所述第一像素點為所述二值化圖中的取值為第一值的像素點，所述第二像素點為所述二值化圖中的取值為第二值的像素點。

可選的，所述根據所述原始紋理圖和所述優化后的深度圖，進行虛擬視點合成，包括：

使用所述原始紋理圖和所述優化后的深度圖進行DIBR的虛擬視點合成。