[發明專利]一種虛擬視點合成方法及系統

有效

• 申請號: 201380003165.8
• 申請日: 2013-07-29
• 公開（公告）號: CN104756489B
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 李晨霞;王榮剛;高文
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 深圳鼎合誠知識產權代理有限公司44281
• 代理人: 郭燕,任葵

技術領域

本申請涉及多視點視頻編解碼技術領域，尤其涉及一種虛擬視點合成方法及系統。

背景技術

多視點視頻（Multi-View Video）指的是由不同視點的多個攝像機從不同視角拍攝同一場景得到的一組視頻信號，是一種有效的3D視頻表示方法，能更加生動地再現場景，給人身臨其境的感覺，在立體電視、自由視點電視、立體視頻會議和視頻監控等領域有著非常廣泛的應用前景。

多視點視頻通過一組同步的攝像機陣列從不同角度采集同一場景，在顯示時，可以根據觀看者所處位置顯示相應角度的圖像；當觀看者的頭部移動時，看到內容也會出現相應的變化，從而得到“環視”的效果。為得到自然平滑的運動視差效果，需要使用非常稠密的攝像機來獲得多視點視頻序列。然而隨著相機數目的增加，多視點視頻的數據量也成倍增加，給存儲和傳輸帶來了巨大的挑戰。在低碼率下為了得到高質量的立體視頻流，多視點視頻一般采用雙視點加深度的格式，將彩色視頻圖和深度圖各自進行壓縮編碼，解碼時，采用基于深度圖的虛擬視點合成技術(Depth Image Based Rendering,DIBR)，用左右兩視點和對應的深度圖生成多視點視頻，可根據用戶的需求（立體視頻或任意視點視頻）重建一個或多個角度的立體視頻。虛擬視點合成是多視點視頻編解碼中的關鍵技術之一，合成圖像的質量直接影響到多視點視頻的觀看質量。

現有技術中的虛擬視點合成方法，全程僅一副虛擬圖像，對一個像素同時在左右參考視點中搜索候選像素，因此其候選像素集可能包含來自兩個視點中的像素，且所有候選像素都參與到下一步的加權求和中，不作任何篩選。而基于深度圖的方法很大程度依賴于深度圖的準確度。深度圖的不連續性也會影響合成視圖的質量。因此現有的技術或多或少都存在一些缺陷，要么在產生遮擋的邊界區域，要么在背景區域容易產生一些瑕疵。

發明內容

本申請提供一種虛擬視點合成方法及系統。

根據本申請的第一方面，本申請提供一種虛擬視點合成方法，包括：

建立左視點虛擬視圖和右視點虛擬視圖，在虛擬視點中，坐標為(u,v)的像素取(u,v)到(u+1,v)的像素塊，即I(u)＝[u,u+1)；

所述左視點虛擬視圖在左視點參考視圖中搜索候選像素，所述右視點虛擬視圖在右視點參考視圖中搜索候選像素，對于左視點虛擬視圖和/或右視點虛擬視圖中搜索不到候選像素的像素塊，則標記為洞點；

對搜索到的候選像素按照深度排序并依次計算前景系數和背景系數，依據所述前景系數和背景系數進行加權求和，對于當前像素的深度值與加權求和的第一個像素的深度值差超過第一預定閾值的，則不參與加權求和；

將左視點虛擬視圖和/或右視點虛擬視圖的洞點區域向背景方向擴大，去除鬼影像素；

對所述左視點虛擬視圖和右視點虛擬視圖進行視點合成；

對合成圖像進行洞點填補。

上述方法中，所述左視點虛擬視圖在左視點參考視圖中搜索候選像素，所述右視點虛擬視圖在右視點參考視圖中搜索候選像素，對于左視點虛擬視圖和/或右視點虛擬視圖中搜索不到候選像素的像素塊，則標記為洞點，還包括：

在參考視圖中搜索候選像素，設置第一調節參數，所述第一調節參數為預設初始值時，若搜索不到候選參數的像素塊，則對所述第一調節參數加1，重新搜索，若仍然搜索不到候選參數的像素快，則標記為洞點。

上述方法中，所述前景系數通過w_j^f=∣I_j(u_r,t)∩I^j(u)∣計算；

所述背景系數通過w_j^b=∣I(u)∩I_j(u_r,t)∣-w_j^f計算；

其中I_j(u_r,t)=[u_r-t,u_r+1+t)為參考視點中的像素塊，t為第二調節參數，I^j(u)表示在虛擬視點像素塊中，還沒有被之前的像素遮擋的比重；

依據所述前景系數和背景系數進行加權求和的公式為：

其中α_j根據像素的深度值控制在合成過程中所占的權重。

上述方法中，所述將左視點虛擬視圖和/或右視點虛擬視圖的洞點區域向背景方向擴大，去除鬼影像素，具體包括：