[發明專利]一種用于計算機圖形圖像處理的、基于深度信息的實時三維人臉建模方法

在審

• 申請號: 201410346047.3
• 申請日: 2014-07-20
• 公開（公告）號: CN104077808A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: 詹曙;常樂樂
• 申請（專利權）人: 詹曙;常樂樂
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于于計算機圖形圖像處理的、基于深度信息的實時三維人臉建模方法，其特征權利在于，該方法的步驟如下：

(1)數據的獲取：用戶坐在kinect正前方0.5米左右處，kinect在時間τ從kinect獲取一張原始的深度圖D_τ，D_τ由一組像素(u,v)組成，每個像素深度值為D_τ(u,v)；

(2)分割：1)本方法是將深度圖分為于前景區和背景區，前景區包含用戶的整個身體，背景區只包含剩下的環境。使用連通分量分析確定前景區域，當兩個相鄰深度像素的差異低于一個臨界值時被認為是相鄰的。假設前景區域是距離相機最短距離的最大部分；2)為了確定頭部區域，我們的方法是尋找一條水平線將前景區域分為頭部區域和軀干區域，這樣便可得到頭部區域：

Dτ(u,v)′=Dτ(u,v)iffMτ(u,v)=1andv≤s0otherwise---(1)]]>

(3)去噪：通過kinect獲得的深度圖通常是有噪聲的，在頭發區域尤其明顯，這些噪聲會影響我們進行圖像配準,為了提高配準將運用基于Prewitt算子的分塊自適應閾值邊緣檢測算法可得到比較精細的圖像邊緣；進而根據獲取邊緣信息對深度圖進行分類，邊緣區采用單向多級中值濾波算法進行降噪處理，而非邊緣區采用雙向多級中值濾波算法進行降噪處理。最終利用Kinect得到邊緣清晰，噪聲較小的高質量深度圖：

Dτ(u,v)′′=Dτ′(u,v)iffσ(u,v)2≤σmax20otherwise---(2)]]>

(4)反投影：為了對多幅深度圖進行配準，首先講深度圖進行反投影形成一個三維點云，然后評估每一個頂點的表面法向量。通過反投影我們產生了一個頂點貼圖V_τ：

V_τ(u,v)＝D″_τ(u,v)K^-1[u,v,-1]^T????(3)

每個頂點法向量可由相鄰頂點的叉積進行評估：

N_τ(u,v)＝[V_τ(u+1,v)-V_τ(u,v)]×[V_τ(u,v+1)-V_τ(u,v)]????(4)

(5)配準：為了得到一個三維人臉模型，需要校準一些頂點貼圖，對于每個頂點貼圖,需要確定一個剛體變換矩陣Tg,τ=Rg,τtg,τ0I]]>將頂點和法向量轉換到一個全局坐標空間中去，為了計算用于配準三維點云的剛體變換矩陣，我們使用基于kd-tree加速的icp算法來求解；

(6)集成：在上述步驟都完成后，將處理后的多幅深度圖進行集成便形成了一個三維人臉模型。一個立體空間被用于建立人臉模型，這個立體空間只有人頭的大小。立體空間為521×512×512三維空間，每一個立體像素p包含一個權值w(p)和一個符號距離f(p)，符號距離只有在一個表面附近才準確，所以他們會被截斷以阻止表面間的相互干擾。這樣每個被分割的深度圖像D″_τ(u,v)逐漸融合成立體模型；

其中f(p)←w(p)f(p)+wτ(p)fτ(p)w(p)f(p)---(5)]]>

w_τ(p)和f_τ(p)分別為增量權值和增量符號距離，為了確定w_τ(p)和f_τ(p)，立體像素p被映射到深度圖中，而符號距離是通過從深度測量值中減去立體像素的深度值被計算的:

Sp=Dτ′′(u,v)-||Tg,τ-1p||2||K-1[u,v,1]T||2---(7)]]>

并得到fτ(p)=sign(Sp)min(1,|Sp|u)---(8)]]>

(7)描繪：由于在配準時，可能會有多幅深度圖在相同部位都會有空洞，尤其是在人頭的邊緣部分如頭發耳朵及臉部邊緣，這樣在集成后形成的三維模型可能還是會有空洞，模型建的并不完整，所以我們在將多幅圖進行集成前要對相同部位具有空洞的地方進行插值，這里我們使用三次卷積法進行插值。