[發(fā)明專利]一種微軟體感裝置深度圖像增強方法

有效

• 申請?zhí)枺?/td>: 201210265372.8
• 申請日: 2012-07-27
• 公開（公告）號: CN102831582A
• 公開（公告）日: 2012-12-19
• 發(fā)明（設(shè)計）人: 李樹濤;陳理;盧婷
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00
• 代理公司: 長沙市融智專利事務(wù)所 43114
• 代理人: 顏勇

技術(shù)領(lǐng)域

本發(fā)明涉及一種深度圖像增強方法，更具體的說是一種微軟體感裝置深度圖像增強方法。

背景技術(shù)

Kinect是微軟發(fā)布的一款廉價的深度圖像獲取設(shè)備。它能夠以30fps的速度同時產(chǎn)生大小為640×480的彩色圖像和深度圖像。由于這種廉價和實時的特性，Kinect發(fā)布不久就被廣泛用在了醫(yī)院、圖書館、報告廳等互動場所。

由于測量原理的限制，Kinect的深度圖像在物體的邊緣附近和反射率較差的表面會產(chǎn)生空洞，并且，深度圖像的邊緣和對應(yīng)的彩色圖像的邊緣往往不是匹配的。

為了解決空洞填補問題，研究人員嘗試了一些填補方法。傳統(tǒng)的方法主要分為基于像素的方法和基于點云的方法。基于像素方法的思想是將深度圖像看成普通的灰度圖像，將空洞看成是待修復(fù)的區(qū)域。這樣，空洞填補的問題轉(zhuǎn)化成了傳統(tǒng)的圖像修復(fù)問題。這類方法主要利用彩色信息作指導(dǎo)，通過插值、快速修復(fù)和置信度傳播等圖像修復(fù)的方法來估計無效點的深度值。但是，由于深度圖像的邊緣和彩色圖像的邊緣并不匹配，所以物體邊緣的深度信息是不可靠的，估計出的深度值往往也不準確。

基于點云方法的思想是將深度圖像當(dāng)作描述物體表面的數(shù)據(jù)，這樣，空洞填補的問題就轉(zhuǎn)化為物體表面補全的問題。這類方法首先將深度圖像數(shù)據(jù)轉(zhuǎn)化為點云數(shù)據(jù)，通過點云重構(gòu)出3D表面，然后依據(jù)表面結(jié)構(gòu)的特性（如形狀的相似性、表面法向量之間的關(guān)系等等）來找到與空洞最匹配的圖像塊。這類方法緩和了第一類方法中估計出的深度值不準確的問題，但并沒有徹底解決這個問題。并且，這類方法需要重構(gòu)出3D表面，對于不需要3D重構(gòu)的應(yīng)用來說，增加了不必要的計算量。

對于深度圖像邊緣和彩色圖像邊緣不匹配的問題，現(xiàn)有的方法主要是發(fā)掘深度圖像序列的信息，用較長的時間窗口濾波來得到穩(wěn)定的深度圖像邊緣。這種方法需要對相鄰的圖像進行運動估計，由于圖像噪聲等因素的影響，圖像序列的運動估計并不十分準確，并且計算量也較大。

發(fā)明內(nèi)容

為了解決Kinect深度圖像中存在的上述問題，本發(fā)明提供了一種微軟體感裝置深度圖像增強方法。本發(fā)明可以作為對Kinect深度數(shù)據(jù)的前處理而廣泛地運用于各種kinect實際系統(tǒng)中。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案包括以下步驟：

1）對Kinect彩色圖像和深度圖像分別作邊緣檢測，得到彩色圖像邊緣和深度圖像邊緣；

2）以兩個邊緣圖像為輸入，采用區(qū)域生長法得到兩個邊緣圖像中間的區(qū)域，即錯誤像素所在的區(qū)域；

3）移除錯誤像素深度值；

4）用區(qū)域生長法在無效像素周圍構(gòu)建平滑區(qū)域；

5）用雙邊濾波法估計平滑區(qū)域中無效像素的深度值。

6）用雙邊濾波法估計剩余無效像素深度值，得到一幅邊緣與彩色圖像邊緣一致的無空洞的深度圖像；

上述的微軟體感裝置深度圖像增強方法中，所述步驟1)為：

將從Kinect采集的彩色圖像和深度圖像分別轉(zhuǎn)為8位灰度圖像，然后對兩幅8位灰度圖像采用Canny邊緣檢測算法分別進行邊緣檢測。其中，Canny邊緣檢測的上限閾值和下限閾值分別為200和100。

上述的微軟體感裝置深度圖像增強方法中，所述步驟2)包括以下步驟：

a)用區(qū)域生長法分別在彩色圖像邊緣和深度圖像邊緣構(gòu)建區(qū)域，形成掩模圖像mask1和掩模圖像mask2。

其中深度圖像邊緣構(gòu)建區(qū)域的方法為：以深度圖像邊緣上的所有的像素為種子進行區(qū)域生長，直到碰到彩色圖像邊緣或者達到指定距離為止。

其中彩色圖像邊緣構(gòu)建區(qū)域的方法為：以彩色圖像邊緣上的所有的像素為種子進行區(qū)域生長，直到遇到深度圖像邊緣或者達到指定距離為止。

b)將深度邊緣圖像進行形態(tài)學(xué)膨脹操作。

c)將掩模圖像mask1和掩模圖像mask2按像素求與操作得到掩模圖像mask4，然后將掩模圖像mask4和掩模圖像mask3按像素求或操作得到掩模圖像mask5,此即為錯誤像素檢測的結(jié)果，其中非零像素表示錯誤像素。

上述的微軟體感裝置深度圖像增強方法中，所述步驟4)為：在以每一個無效像素P_i為中心的5×5窗口中進行區(qū)域生長，并在其周圍構(gòu)建平滑區(qū)域。

上述的微軟體感裝置深度圖像增強方法中，所述步驟5)中雙邊濾波法為：