[發明專利]一種基于kinect相機的人臉三維點云優化處理方法

有效

• 申請號: 201710464550.2
• 申請日: 2017-06-19
• 公開（公告）號: CN107169475B
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 李純明;尹婕
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/80;G06T17/00
• 代理公司: 51232 成都點睛專利代理事務所(普通合伙)
• 代理人: 孫一峰<國際申請>=<國際公布>=<進入

本發明屬于三維重建技術領域，涉及一種基于kinect相機的人臉三維點云優化處理方法。本發明的技術方案，不同于傳統的對三維形式的點云進行處理，本發明的方案是利用Kinect相機的四通道圖像RGB?D，直接對深度信息進行處理來獲得點云優化效果。本發明的方法利用現有的Kinect深度相機進行人臉三維點云的優化處理流程，避免了傳統的高精度設備的昂貴價格，或者一般算法精度不高的問題；在深度優化的步驟里面，利用得到的優化后深度進行表面恢復時，沒有采取一般的利用法向量直接進行融合，因為法向量的融合求解表面會產生偏移誤差，這里利用深度梯度與法向量的幾何關系進行求解，直接得到最后的深度，最后利用坐標的變化得到質量較高的三維點云。

技術領域

本發明屬于三維重建技術領域，涉及一種基于kinect相機的人臉三維點云優化處理方法。

背景技術

目前，三維重建技術是計算機視覺領域的研究熱點，人臉三維模型更是一個比較重要的方向，常常用于電影動畫制作，游戲，醫療等等相關場景。目前獲取三維人臉的方法包括三種：手工建模，儀器采集與基于圖像的建模。手工建模作為最早的三維建模手段，需要專業人士來進行；儀器采集中，基于結構光和激光掃描儀是典型的代表，但是一般來說，儀器的成本都比較高；基于圖像的建模主要是對若干幅圖像利用某種算法得到結果，這種方式比較簡單，但是由于算法本身的限制，結果不是很精確或者魯棒。

但隨著深度相機的出現，如kinect等，可以很方便又迅速的獲取到人臉的深度，也就是很方便地得到人臉的三維點云，但是kinect相機得到的深度值噪聲比較大，點云的噪聲也是很大，需要對點云進行優化處理。傳統的點云優化主要是直接對三維形式的點云進行處理，比如，針對缺失的問題，一般是從點云后期生成的三角網格進行補缺；針對分布不均的問題一般是基于最優投影的方法進行處理；針對點云的噪聲主要是基于投影的方法，改進的濾波的方法和基于概率統計的方法。直接對三維的點進行處理，不管是從數據量還是結果而言，算法的魯棒性都是很大的不確定因素。

發明內容

本發明所要解決的是，就是針對上述傳統方法存在問題，提出一種不基于kinect相機的人臉三維點云優化處理方法。

本發明的技術方案是：如圖1所示，一種基于kinect相機的人臉三維點云優化處理方法，其特征在于，包括以下步驟：

S1、kinect相機標定，包括深度相機與彩色相機的內外參數；

S2、獲取被測人臉圖像：應用步驟S1中的相機，獲取被測人臉的彩色圖和深度圖，并將獲得的彩色圖和深度圖進行對齊處理，即將像素大小不同的深度圖和彩色圖一一對齊，使每一個深度值有一個相應的RGB值；

S3、對獲取的圖像進行預處理，包括深度圖的缺失點，彩色圖的錯誤點，并對深度進行雙邊濾波處理；

S4、從獲取的彩色圖中提取出人臉，并將提取出的人臉投影到對齊的深度圖里面，獲得深度圖中相應的人臉區域；

S5、將RGB和深度D結合起來，對D圖中相應的人臉區域進行深度優化處理，再利用深度相機的內參，將優化后的深度轉換成三維點云。

上述方案為本發明總的技術方案，與傳統直接對三維的點進行處理的方式相比，本發明的方法利用Kinect相機的四通道圖像RGB-D，直接對深度信息進行處理來獲得點云優化效果，因此相比傳統方法，本發明的方法優化速度較快，同時結果也比較穩定。

進一步的，所述步驟S3的具體方法為：

對于深度D圖的缺失點而言，假設缺失像素點坐標為(i,j)，那么就從該點的上下左右四個方向進行搜索，直到找到每個方向的首個非零值為止，然后將四個值求平均值來填充該像素的缺失值。對于RGB圖的錯誤點而言，首先分別判斷RGB圖三個通道的值，若三個通道同時為0，就判定該點為錯誤點，然后賦予該像素點三個通道都為1。

進一步的，如圖2所示，所述步驟S4的具體方法為：