[發明專利]虛擬視點合成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110172711.7
• 申請日: 2021-02-08
• 公開（公告）號: CN112929628A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 程志鵬;王琦;劉香凝;顧嵩
• 申請（專利權）人: 咪咕視訊科技有限公司;北京大學;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04N13/128
• 分類號: H04N13/128
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本發明實施例提供一種虛擬視點合成方法、裝置、電子設備及存儲介質；方法包括：根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定第一動靜標記圖；將第一動靜標記圖轉換為第二動靜標記圖；根據第二動靜標記圖，對不屬于動態區域的像素在當前幀虛擬視點深度圖中的深度值進行修正，得到優化后的當前幀虛擬視點深度圖；根據當前幀參考視點紋理圖以及優化后的當前幀虛擬視點深度圖，生成當前幀虛擬視點紋理圖。本發明通過當前幀參考視點紋理圖與前一幀參考視點紋理圖確定虛擬視點紋理圖中的靜態區域，然后對屬于靜態區域的像素的深度值進行修正，保證了虛擬視點紋理圖的時域一致性。

技術領域

本發明涉及視頻技術領域，尤其涉及一種虛擬視點合成方法、裝置、電子設備及存儲介質。

背景技術

自由視點視頻可以利用虛擬視點合成方法將單一視點的彩色加深度視頻合成多個視角的彩色視頻，讓人觀看視頻的角度更加自由，是三維視頻的重要發展方向。

基于深度圖的虛擬視點合成方法是在參考圖像和對應深度圖的基礎上，利用幾何映射的方法計算得到像素點在三維幾何空間的坐標，然后再通過重投映的方法，投射到指定的虛擬平面上，從而獲得新視點(虛擬視點)下的圖像。

該方法主要局限于對單幀圖像的處理，而忽略了幀與幀之間的連續性，導致虛擬視點視頻出現時域不穩定的現象，在靜態區域尤為明顯。

現有技術主要通過時域中值濾波等方法提取整個場景的靜態背景圖像，再基于靜態背景進行深度圖優化和空洞填補。但是基于背景重建的時域穩定性改善方法需要預先獲取足夠幀數的視頻序列，才能完整地提取出場景的靜態背景，無法做到實時地改善虛擬視點視頻的時域穩定性，應用場景有一定的局限性。

發明內容

針對現有技術存在的問題，本發明提供一種虛擬視點合成方法、裝置、電子設備及存儲介質。

第一方面，本發明提供一種虛擬視點合成方法，包括：

根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定第一動靜標記圖；其中，所述第一動靜標記圖用于描述所述當前幀參考視點紋理圖中各個位置的像素是否屬于動態區域；

將所述第一動靜標記圖轉換為第二動靜標記圖；其中，所述第二動靜標記圖用于描述當前幀虛擬視點紋理圖中各個位置的像素是否屬于動態區域；

根據所述第二動靜標記圖，對不屬于動態區域的像素在當前幀虛擬視點深度圖中的深度值進行修正，得到優化后的當前幀虛擬視點深度圖；

根據當前幀參考視點紋理圖以及優化后的當前幀虛擬視點深度圖，生成當前幀虛擬視點紋理圖。

根據本發明提供的一種虛擬視點合成方法，所述根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定第一動靜標記圖，包括：

根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定所述當前幀參考視點紋理圖中的動態區域；

對所述動態區域中的像素進行鄰域擴展，得到所述第一動靜標記圖。

根據本發明提供的一種虛擬視點合成方法，所述根據當前幀參考視點紋理圖與前一幀參考視點紋理圖，確定所述當前幀參考視點紋理圖中的動態區域，包括：

計算所述當前幀參考視點紋理圖中第一位置的像素與所述前一幀參考視點紋理圖中第一位置的像素之間的像素距離；其中，所述第一位置表示當前幀參考視點紋理圖或前一幀參考視點紋理圖中的任意一個位置；

將所述像素距離與預先設置的閾值進行比較，當所述像素距離小于所述閾值時，所述第一位置的像素不屬于動態區域，當所述像素距離大于或等于所述閾值時，所述第一位置的像素屬于動態區域。

根據本發明提供的一種虛擬視點合成方法，所述對所述動態區域中的像素進行鄰域擴展，包括：