[發(fā)明專利]基于改進型雙邊濾波的深度圖像恢復方法

有效

• 申請?zhí)枺?/td>: 201410122870.6
• 申請日: 2014-03-28
• 公開（公告）號: CN103927717B
• 公開（公告）日: 2017-03-15
• 發(fā)明（設計）人: 劉偉;楊杰
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/20;G06T7/50
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司31236
• 代理人: 郭國中

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及RGB-D圖像，即與之對應的RGB圖像的深度圖像恢復方法。

背景技術(shù)

隨著新的深度測量技術(shù)的誕生，獲得場景深度圖像已經(jīng)變得非常容易，且測量裝置也很便宜，并可同時獲得與深度圖像相對應的場景的RGB圖像，與深度圖像合起來被稱作RGB-D圖像。然而這類裝置由于測量原理簡單，因此得到的深度圖像質(zhì)量也存在問題，主要包括：局部不均勻噪音，空洞現(xiàn)象和錯誤深度像素。目前對這類裝置獲得的深度圖像恢復的方法主要包括兩大類：(1)只利用深度圖像信息進行恢復，(2)結(jié)合深度圖像和與之對應的RGB圖像信息進行的恢復，這兩大類方法又可以根據(jù)只使用當前幀信息和使用多幀信息兩種情況各分為兩類。

下面對現(xiàn)有的部分RGB-D深度圖像恢復算法按上述分類方法進行簡要介紹。M.Andrew等人與2012年提出(“Enhanced?personal?autostereoscopic?telepresence?system?using?commodity?depth?cameras”)使用兩個改進型中值濾波器近利用當前幀深度信息進行深度圖像恢復；W.Jakob等人與2011年提出(“Real-time?preprocessing?for?dense3-d?range?imaging?on?the?GPU:defect?interpolation,bilateral?temporal?averaging?and?guided?filtering”)考慮多幀相鄰幀深度信息，采用歸一化卷積技術(shù)和導向濾波器（guided?filter）。上述兩種方法雖然運算速度很高，但是只使用了深度信息，因此對深度圖像恢復效果很有限，只適用于對深度圖像質(zhì)量要求不高的算法，可作為簡單預處理算法。Y.Jingyu等人與2012年提出(“Depth?recovery?using?an?adaptive?color-guided?auto-regressive?model”)使用能量最小化方法，先對圖像中的空洞進行插值填充，然后迭代優(yōu)化能量函數(shù)，達到空洞填充和去噪的效果，該方法使用了當前幀的RGB-D圖像信息，其缺陷是恢復后的深度圖像邊緣很模糊；Massimo?Camplani等人與2012年提出(“Accurate?depth-color?scene?modeling?for3d?contents?generation?with?low?cost?depth?cameras”)使用多幀RGB-D圖像建立場景模型，并用該模型進行深度圖像恢復，但是該方法要求圖像中的場景為靜態(tài)的，因此很大程度限制了其應用性。

然而上述方法還有一個共同的缺陷就是沒有強調(diào)錯誤深度像素問題和提出很好的解決方法。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明目的是提供一種基于改進型雙邊濾波的深度圖像恢復方法，該方法提出了錯誤深度像素的概念，能有效地抑制深度圖中的噪音和填充深度圖像中的空洞，同時使得恢復后的深度圖像中的深度邊緣清晰整齊。

為實現(xiàn)上述目的，本發(fā)明提供一種基于改進型雙邊濾波的深度圖像恢復方法，該方法先使用局部自適應雙邊濾波對原始深度圖像進行平滑去噪，然后對深度圖像中的錯誤深度像素進行校正，最終結(jié)合于深度圖像對應的彩色RGB圖像，采用選擇性聯(lián)合雙邊濾波對深度圖像進行空洞填充。最終恢復的深度圖像噪音得到了有效地抑制，錯誤深度像素得到了有效地校正，并且有清晰的深度邊界。

本發(fā)明具體包括以下步驟：

(1)對原始深度圖像進行局部自適應雙邊濾波，對深度圖像中的區(qū)域不均勻噪聲進行平滑；

(2)對深度圖像和與該深度圖像相對應的RGB圖像分別進行邊緣檢測，分別得到相應的邊緣圖像；

(3)然后對深度圖像的邊緣圖像進行形態(tài)學膨脹，將膨脹后的邊緣圖像與RGB圖像的邊緣圖像進行邏輯交運算，得到深度邊界圖像的初始圖像；

(4)再對深度邊界圖像初始圖像中的邊界像素進行校正，去掉偽邊界的邊界像素，最終的到真正深度邊界圖像的近似圖像；

(5)結(jié)合校正后的深度邊界圖像，對平滑后的深度圖像中錯誤深度值像素進行校正；

(6)利用深度圖像邊緣與RGB圖像紋理邊緣之間的聯(lián)系，采用選擇性聯(lián)合雙邊濾波并結(jié)合(4)中得到的校正的深度邊界圖像，對校正后的深度圖像中的空洞進行填充。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下收益效果：