[發明專利]一種基于RGBD相機的人臉檢測和修復方法有效

申請號：	201810342618.4	申請日：	2018-04-17
公開（公告）號：	CN108564041B	公開（公告）日：	2020-07-24
發明（設計）人：	程子翰;周曦	申請（專利權）人：	云從科技集團股份有限公司
主分類號：	G06K9/00	分類號：	G06K9/00;G06T5/00;G06T7/55
代理公司：	上海光華專利事務所(普通合伙) 31219	代理人：	尹麗云
地址：	511457 廣東省廣州市南***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于 rgbd 相機檢測修復方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

一種基于RGBD相機的人臉檢測和修復方法，采用如下步驟，步驟1：RGB相機和紅外相機構成了雙目攝像機系統，從RGB攝像機和紅外攝像機分別得到圖像數據；步驟2：在兩個圖像數據上分別進行人臉檢測；步驟3：確定圖像數據中的人臉特征向量；步驟4：利用兩個相機畫面的對應矩陣來計算RGB圖像上的人臉關鍵點坐標向量在紅外圖像上的大致坐標位置,并在紅外圖像上檢測到的人臉關鍵特征向量中選擇距離最小的一個作為最優匹配結果；因為深度圖像是由紅外圖像計算得到，所以深度圖像一般和紅外圖像像素保持一一對應的關系，所以深度圖像人臉和紅外圖像人臉有相同的位置；通過對RGB相機圖像和深度圖像的聯合處理,可以在采集RGBD數據的同時完成在兩種數據上的人臉檢測與匹配。這讓基于RGBD的人臉圖像處理領域的高層應用變得可能。

技術領域

本發明涉及人臉識別領域，具體涉及一種基于RGBD相機的人臉檢測和修復方法。

背景技術

人臉識別在安防領域發揮著重要作用,而在目前的人臉識別系統以及相關應用中,絕大部分使用的都是RGB圖像數據,RGB圖像數據有一些固有缺陷,作為二維數據,它在將三維信息投影到二維空間的過程中,丟失了深度信息,我們無法從二維圖像中獲取物體或者人臉的立體信息。高精度的三維重建方案能重建場景中不同物體的三維信息,但是高成本和低速率導致此類產品無法在目前的普通場景中得到大量應用。深度相機相對來說價格便宜,數據幀率高,可以實時反饋數據,它除了提供RGB圖像之外還能提供紅外圖像和深度圖像,其中深度圖像提供場景中物體的立體信息。但是深度相機的缺點是精度稍低,而且利用算法產生的深度數據可能是不完整的。

在使用深度相機完成人臉識別以及相關應用的時候,我們不能只獲取深度圖像,因為深度圖像雖然包含立體信息,但是它并不包含物體的紋理信息,而紋理信息是RGB圖像提供的,所以我們需要同時采集包含人臉信息的RGB圖像和深度圖像。但是一般來說RGB圖像和深度圖像上的點并不是一一對應的,所以當我們想要把RGB圖像上的人臉與深度圖像上的人臉關聯起來的時候就會出現找不到深度圖像上的人臉的問題,或者當RGB圖像上同時出現幾張人臉的時候,我們就沒有辦法在深度圖像上找到RGB圖像上對應的人臉。而且深度圖像上的人臉信息有可能因為無法正常反射激光導致數據缺失。以上的問題都給基于RGBD的人臉識別以及相關應用帶來了困難。

發明內容

本發明針對現有技術的不足，提出一種基于RGBD相機的人臉檢測和修復方法，具體技術方案如下：

一種基于RGBD相機的人臉檢測和修復方法，其特征在于：采用如下步驟，

步驟1：分別得到RGB人臉圖像數據和深度圖像人臉圖像數據；

步驟2：利用RGB人臉圖像數據，基于3DMM技術建立3D人臉點云模型；

步驟3：使用一幀或者多幀連續的深度人臉圖像數據重建人臉點云；

步驟4：將步驟2和步驟3得到的兩個人臉點云進行擬合；

步驟5：在完成兩個點云的擬合之后，對擬合的結果進行平滑濾波；

步驟6：對擬合完成的3D人臉進行點云修復；

步驟7：對整個深度圖像重建的點云數據進行遍歷,輸出修復后的點云數據，完成3D人臉數據的點云修復。

進一步地：

所述步驟6包括以下步驟，