[發明專利]一種基于深度層的遮擋判斷方法及裝置

有效

• 申請號: 201310294784.9
• 申請日: 2013-07-12
• 公開（公告）號: CN103337081A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 曹汛;華夏;閆鋒
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 南京知識律師事務所 32207
• 代理人: 李媛媛

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于深度層的遮擋判斷方法及其裝置。

背景技術

近年來，隨著自由視點技術在硬件和軟件研究上的不斷突破，自由視點顯示在醫學領域，勘探領域或娛樂業等領域都受到了越來越多的青睞。

為了使自由視點顯示的效果更好，涌現了多種圖像的渲染算法，常見的渲染算法大致分為兩類：

第一類是原圖加深度圖渲染算法（2D?plus?Z），主要是根據場景點在深度圖里對應的深度值利用相機的內外參數矩陣計算，先投射再回射渲染出新的虛擬視點視圖。

第二類是多視圖渲染算法（multi-view），主要是根據已知的多個視圖來渲染出場景任意視角的視圖。

在對視圖進行渲染時，因為場景點之間發生遮擋而導致空洞的發生。如圖1所示，C1對應左視圖視點，C2對應右視圖視點。場景點P1和P2在左視圖L中投影在同一位置P，這樣，離左視點C1較遠的場景點P1就會被點P2遮擋。場景點P1和P2在右視圖R上又分別投影于位置P1’，P2’，這樣，如果基于左視圖和深度圖進行右視圖的渲染時，在右視圖R上的P1’點就會因為沒有對應的信息而出現空洞。

解決空洞問題主要的方法有兩大類：一類是利用背景，紋理，相鄰像素等對空洞進行填充，如中國專利CN200810046313.5；另一種是對深度圖進行預處理，主要進行平滑處理，平滑深度的不連續性，以減少圖像繪制后產生的空洞，如中國專利CN201010144951.8。

但是上述現有的空洞類型判斷技術至少具有以下的缺點：

（1）在對圖像進行渲染時候，上述兩類方法都沒有對空洞進行分類處理；空洞很顯然分為兩類，一類是量化誤差帶來的小空洞，一般為幾個像素；一類是深度跳變也就是遮擋帶來的大空洞，一般為幾十個像素點。

（2）在解決空洞問題的時候，第一類的填充技術可以很好的處理量化誤差產生的小孔洞，因為不能從本質上解決空洞問題，特別是填補遮擋引起的較大的空洞，會明顯的失真，填補效果不理想；第二類平滑處理技術對物體進行了變形，雖然減少了大空洞的數量，但使得到的虛擬視點的視覺質量有明顯的下降。

發明內容

針對上述現有技術中存在的缺陷，為了增強圖像的渲染效果，本發明的目的是提供一種判斷虛擬視圖空洞類型的方法，能對空洞進行分類處理。本發明的另外一個目的是提供實現該方法的裝置。

為了實現上述發明目的，本發明方法采用的技術方案如下：

一種基于深度層的遮擋判斷方法，包括如下步驟：

（1）選取參考視圖的深度圖；

（2）對所述深度圖的所有灰度值所對應的像素個數進行統計，繪制深度直方統計圖；

（3）對所述深度直方統計圖進行包絡檢測，繪制出初始包絡圖；

（4）對所述深度直方圖的初始包絡圖進行鄰域平滑濾波，再繪制濾波后的包絡圖；

（5）對所述濾波后的包絡圖進行峰值檢測，找出分峰位置；

（6）對所述濾波后的包絡圖，根據所述分峰位置，標記出各深度層，對所述深度層兩兩做差，找出最小深度層間隔；

（7）獲取虛擬視圖，確定待渲染的虛擬視圖的位置；

（8）計算得到所述虛擬視圖相對于所述參考視圖的距離，根據計算得到的距離，利用所述最小深度層間隔計算出最小平移尺寸，即最小深度層間隔在虛擬視圖上引起的位置平移的值；

（9）對獲得的虛擬視圖進行空洞檢測，找出所有空洞，計算空洞的對角線長度；

（10）利用所述最小平移尺寸作為閾值，并與上述空洞的對角線長度進行比較，判斷空洞的類型，從而對不同的圖像空洞類型分別采用不同的空洞填補方法。

所述步驟（6）中，設定分峰閾值，把大于分峰閾值的分峰位置作為一個深度層。找出最小深度層間隔后設定深度閾值，比較最小深度層間隔和深度閾值的大小：如果最小深度層間隔大于深度閾值，則取最小深度層間隔作為參數；如果最小深度層間隔小于深度閾值，則取大于深度閾值的最小深度層間隔作為參數。采用上述方法的原因是，避免在獲取的真實圖像因為整體中存在部分位置深度變化很小與部分位置深度跳變很大同時存在的情況，導致計算出的最小深度跳變是深度變化很小區域計算出來的而理應是被忽略的值。通過設定深度閾值，可以避免在這種情況下誤把小空洞判別成大空洞。

所述步驟（8）中，最小平移尺寸的計算公式如下：