[發明專利]一種基于kinect相機的人臉三維點云優化處理方法

有效

• 申請號: 201710464550.2
• 申請日: 2017-06-19
• 公開（公告）號: CN107169475B
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 李純明;尹婕
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/80;G06T17/00
• 代理公司: 51232 成都點睛專利代理事務所(普通合伙)
• 代理人: 孫一峰<國際申請>=<國際公布>=<進入

1.一種基于kinect相機的人臉三維點云優化處理方法，其特征在于，包括以下步驟：

S1、kinect相機標定，包括深度相機與彩色相機的內外參數；

S2、獲取被測人臉圖像：應用步驟S1中的相機，獲取被測人臉的RGB圖和深度D圖，并將獲得的RGB圖和深度D圖進行對齊處理，即將像素大小不同的深度D圖和RGB圖一一對齊，使每一個像素的深度值有一個相應的RGB值；

S3、對獲取的圖像進行預處理，包括深度D圖的缺失點，RGB圖的錯誤點，并對深度D圖進行雙邊濾波處理；具體方法為：

對于深度D圖的缺失點：假設缺失像素點坐標為(i,j)，從該點的上下左右四個方向進行搜索，直到找到每個方向的首個非零值為止，然后將四個值求平均值來填充該像素的缺失值；

對于RGB圖的錯誤點：首先分別判斷RGB圖三個通道的值，若三個通道同時為0，就判定該點為錯誤點，然后賦予該像素點三個通道都為1；

S4、從獲取的RGB圖中提取出人臉，并將提取出的人臉投影到對齊的深度D圖里面，獲得深度D圖中相應的人臉區域；具體方法為：

S41、對獲取的RGB圖進行映射：

將RGB顏色空間通過如下公式1映射到YCbCr空間：

S42、初步提取人臉：

采用如下公式2所示的二維高斯模型檢測S41得到的變換空間圖像中每一個像素點為膚色的概率：

獲得每一個像素點的概率值后，對獲得的概率圖進行二值化，結果即為初步提取人臉結果；

S43、對獲得的二值圖像進行處理，提取出目標人臉矩形區域；

S5、將RGB和深度D結合起來，對D圖中相應的人臉區域進行深度優化處理，再利用深度相機的內參，將優化后的深度轉換成三維點云，具體方法為：

S51、對RGB圖像進行本征分解，按照如下公式3所示的光照模型進行分解：

公式3中，是圖像像素點(i,j)處的強度，也就是像素灰度值，是像素點的明暗值，ρ(i,j)表示多反射率，β(i,j)表示局部光照變化影響因子；

S52、求解步驟S51中獲得的參數，具體為：

S521、求解明暗值

將圖像某一點的明暗值表示成如下公式4所示的該點的法向量的線性形式：

其中，是圖像每一像素點的法向向量，是前四個球諧函數系數，圖像中的每個像素都可以用來求解明暗值，因此，這里需要解決的是超定的最小二乘系數估計問題，如下公式5：

S522、求解多反射率ρ(i,j)：

利用如下公式6所示的能量函數進行求解：

公式6中，N是某像素的鄰域，是與像素強度值相關的權重系數，是與初始深度相關的權重系數，I是灰度值，下標k為像素編號，表示為如下公式7：

公式7中，z(i,j)是像素點(i,j)的深度值，I(i,j)是像素(i,j)的RGB值，σ_c是關于某像素與其鄰域內像素強度值的系數，σ_d是關于深度不連續的相關系數；

S523、求解局部光照變化影響因子β(i,j)：

通過如下公式8獲得β(i,j)：

S53、根據步驟S52得到的參數進行人臉的深度優化，利用能量最小化，通過如下公式9求解：

公式9中，z₀是圖像初始獲取的深度值，Δ表示其拉普拉斯算子；△是深度的偏導關系，是對于每一個像素點的法向量的表示，具有如下公式10所示的關系：

公式10中，z的下標x和y分別表示x方向的梯度和y方向的梯度；

公式9的求解方法具體為：

S531、固定非線性項，即在求解法向量的時候分母項，將這個分母項以前一次的計算結果作為已知值帶入這一次的法向量計算，如下公式11所示：

S532、利用得到的法向量，更新線性本征分解光照模型項，如下公式12：

S533、迭代求解，根據參數z₀,ρ,β，當f(z^k-1)>f(z^k)成立時，一直迭代計算：

直到f(z^k+1)>f(z^k)，停止迭代流程，前一次的z^k即優化處理得到的最后結果；

所述τ、σ_c、σ_d、λ_ρ、為預設的權重閾值；

S54、根據Kinect深度相機的參數，利用坐標系的轉換將S533迭代的得到的二維深度z^k轉換到三維點云形式，如下公式13：

公式13中，(i,j)是圖像中的像素點，[x_(i,j),y_(i,j),z_(i,j)]為待求解像素(i,j)三維坐標，z^k(i,j)是其深度值，K^-1是深度相機內參矩陣的求逆。

2.根據權利要求1所述的一種基于kinect相機的人臉三維點云優化處理方法，其特征在于，還包括：

S6、對獲得的三維點云進行去除粗差點處理：

利用PCL庫里的八叉樹模塊，對獲得的三維點云進行粗差點去除。