[發明專利]自由視點視頻重建及播放處理方法、設備及存儲介質

在審

• 申請號: 202010759861.3
• 申請日: 2020-07-31
• 公開（公告）號: CN114071115A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 王榮剛;蔡硯剛;顧嵩;盛驍杰
• 申請（專利權）人: 阿里巴巴集團控股有限公司;北京大學深圳研究生院
• 主分類號: H04N13/271
• 分類號: H04N13/271;H04N13/282
• 代理公司: 上海知錦知識產權代理事務所(特殊普通合伙) 31327
• 代理人: 潘彥君

1.一種自由視點視頻重建方法，其中，包括：

獲取自由視點視頻幀，所述視頻幀包括同步的多個原始視點的原始紋理圖和對應視點的原始深度圖；

獲取虛擬視點對應的目標視頻幀；

采用所述目標視頻幀中多個原始視點的原始紋理圖和對應的原始深度圖，合成所述虛擬視點的紋理圖；

獲取所述目標視頻幀對應視點的背景紋理圖和背景深度圖，并根據所述對應視點的背景紋理圖和背景深度圖，獲取所述虛擬視點的背景紋理圖；

采用所述虛擬視點的背景紋理圖，對所述虛擬視點的紋理圖中的空洞區域進行空洞填補后處理，得到所述虛擬視點的重建圖像。

2.根據權利要求1所述的方法，其中，所述獲取所述目標視頻幀對應視點的背景紋理圖和背景深度圖，包括：

選擇所述目標視頻幀對應視點的參考紋理圖序列和參考深度圖序列；

對所述參考紋理圖序列和參考深度圖序列分別進行時域濾波，得到所述目標視頻幀對應視點的背景紋理圖和背景深度圖。

3.根據權利要求2所述的方法，其中，所述對所述參考紋理圖序列和參考深度圖序列分別進行時域濾波，得到所述目標視頻幀對應視點的背景紋理圖和背景深度圖，包括：

對所述參考紋理圖序列和參考深度圖序列中的像素分別進行時域中值濾波，得到所述目標視頻幀對應視點的背景紋理圖和背景深度圖。

4.根據權利要求1所述的方法，其中，所述采用所述目標視頻幀中多個原始視點的原始紋理圖和對應的原始深度圖，合成所述虛擬視點的紋理圖，包括：

基于所述虛擬視點，按照預設規則選擇所述目標視頻幀中相應原始視點的原始紋理圖和對應的原始深度圖；

采用所選擇的相應原始視點的原始紋理圖和對應的原始深度圖，合成所述虛擬視點的紋理圖。

5.根據權利要求4所述的方法，其中，所述獲取所述目標視頻幀對應視點的背景紋理圖和背景深度圖，包括：

獲取與所選擇的原始視點相應的參考紋理圖序列和參考深度圖序列；

對所述參考紋理圖序列和參考深度圖序列分別進行時域濾波，得到所選擇的相應原始視點的背景紋理圖和背景深度圖。

6.根據權利要求1所述的方法，其中，所述獲取所述目標視頻幀對應視點的背景紋理圖和背景深度圖，包括：

預先采集所述目標視頻幀所針對的視場中對應視點不存在前景對象的背景紋理圖；

根據所述目標視頻幀所針對的視場中對應視點不存在前景對象的背景紋理圖，獲取對應視點的背景深度圖。

7.根據權利要求1至6任一項所述的方法，其中，所述采用所述虛擬視點的背景紋理圖，對所述虛擬視點的紋理圖中的空洞區域進行空洞填補后處理，得到所述虛擬視點的重建圖像，包括：

采用所述虛擬視點的背景紋理圖，使用聯合雙邊濾波方法對所述虛擬視點的紋理圖中的空洞區域進行插值處理，得到所述虛擬視點的重建圖像。

8.根據權利要求1至6任一項所述的方法，其中，在對所述虛擬視點的紋理圖中的空洞區域進行空洞填補后處理之后，得到所述虛擬視點的重建圖像之前，還包括：

對空洞填補后處理后得到的虛擬視點的紋理圖中的前景邊緣進行濾波處理，以得到所述虛擬視點的重建圖像。

9.一種自由視點視頻播放處理方法，其中，包括：

確定虛擬視點，根據虛擬視點，確定目標視頻幀；

采用所述目標視頻幀中多個原始視點的原始紋理圖和對應的原始深度圖，合成所述虛擬視點的紋理圖；

獲取所述目標視頻幀對應視點的背景紋理圖和背景深度圖，并根據所述對應視點的背景紋理圖和背景深度圖，獲取所述虛擬視點的背景紋理圖；

采用所述虛擬視點的背景紋理圖，對所述虛擬視點的紋理圖中的空洞區域進行空洞填補后處理，得到所述虛擬視點的重建圖像。