[發明專利]一種基于RGBD相機的人臉檢測和修復方法有效
| 申請號： | 201810342618.4 | 申請日： | 2018-04-17 |
| 公開（公告）號： | CN108564041B | 公開（公告）日： | 2020-07-24 |
| 發明（設計）人： | 程子翰;周曦 | 申請（專利權）人： | 云從科技集團股份有限公司 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06T5/00;G06T7/55 |
| 代理公司： | 上海光華專利事務所(普通合伙) 31219 | 代理人： | 尹麗云 |
| 地址： | 511457 廣東省廣州市南*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 rgbd 相機 檢測 修復 方法 | ||
1.一種基于RGBD相機的人臉檢測和修復方法，其特征在于：采用如下步驟，
步驟1：分別得到RGB人臉圖像數據和深度圖像人臉圖像數據；
步驟2：利用RGB人臉圖像數據，基于3DMM技術建立3D人臉點云模型；
步驟3：使用一幀或者多幀連續的深度人臉圖像數據重建人臉點云；
步驟4：將步驟2和步驟3得到的兩個人臉點云進行擬合；
步驟5：在完成兩個點云的擬合之后，對擬合的結果進行平滑濾波；
步驟6：對擬合完成的3D人臉進行點云修復；
所述步驟6包括以下步驟，
步驟61：判斷擬合后缺失的點云數據是否在基于深度圖像重建的點云上有對應的數據，如果是，則進入步驟62，否則，進入步驟63；
步驟62：利用深度圖像重建的點云數據作為該點的修復數據；
步驟63：判斷擬合后缺失的點云數據是否在基于深度圖像重建的點云的鄰域上有數據，如果是，則進入步驟64，否則進入步驟65；
步驟64：則使用基于3DMM模型的點云數據結合基于深度圖像重建的點云上該點領域內的所有點數據來估計修復數據；
步驟65：判斷擬合后缺失的點云數據是否在基于3DMM模型的點云上是否有數據，如果是，則使用基于3DMM模型的點數據作為修復數據，否則跳過該點；
步驟7：對整個深度圖像重建的點云數據進行遍歷,輸出修復后的點云數據，完成3D人臉數據的點云修復。
2.根據權利要求1所述一種基于RGBD相機的人臉檢測和修復方法，其特征在于：所述步驟1包括如下步驟：
步驟1-1：RGB相機和紅外相機構成了雙目攝像機系統，從RGB攝像機和紅外攝像機分別得到圖像數據；
步驟1-2：在兩個圖像數據上分別進行人臉檢測,因為深度圖像是由紅外圖像計算得到，所以深度圖像一般和紅外圖像像素保持一一對應的關系；
步驟1-3：確定圖像數據中的人臉特征向量；
步驟1-4：利用兩個相機畫面的對應矩陣來計算RGB圖像上的人臉關鍵點坐標向量在紅外圖像上的大致坐標位置,并在紅外圖像上檢測到的人臉關鍵特征向量中選擇距離最小的一個作為最優匹配結果。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于云從科技集團股份有限公司，未經云從科技集團股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810342618.4/1.html，轉載請聲明來源鉆瓜專利網。
