[發明專利]一種基于三目相機的三維人臉采集方法及裝置

在審

• 申請號: 202010071240.6
• 申請日: 2020-01-21
• 公開（公告）號: CN111325828A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 毛泉涌;陳初杰;杜鑫;于澤坤;瞿崇曉;陳夏燕
• 申請（專利權）人: 中國電子科技集團公司第五十二研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于三目相機的三維人臉采集方法及裝置，將人臉關鍵點投影到左右IR散斑紋理人臉圖像中，計算左右IR散斑紋理人臉圖像中對應人臉關鍵點的坐標，通過迭代人臉關鍵點在左右IR散斑紋理人臉圖像上的投影位置，修正誤差，最后遍歷整個RGB人臉圖像，即得到精確的人臉深度圖，利用內參矩陣反投影得到最終的人臉點云。本發明利用法向信息使雙目立體匹配算法進行高精度匹配，消除人臉曲面仿射變換影響，提升深度精度；通過降分辨率的人臉深度圖，約束原始分辨率的立體匹配視差在極線方向上的搜索范圍，大幅度降低計算復雜度，提升了算法計算效率。

技術領域

本發明屬于計算機視覺技術領域，特別涉及一種基于三目相機的三維人臉采集方法及裝置。

背景技術

近年來，隨著人工智能技術的迅猛發展以及計算機計算能力的不斷提升，人臉識別技術作為一種典型的人工智能技術正越來越多地被應用于如電子支付、身份識別、刑事偵查、安防控制等領域，并在這些領域中展現出極大的優越性。然而，不可否認的是當前人臉識別算法大多是基于平面圖像的二維人臉識別，二維人臉圖像只是三維人臉模型特定角度下投影到像平面的二維投影，因此人臉面部幾何和紋理信息特征不可避免的會有損失，這也導致人臉識別準確度受到限制。

隨著三維重建技術的快速發展，人臉識別算法正在由圖像作為輸入的二維人臉識別技術向將三維人臉模型作為輸入的三維人臉識別技術過渡。與二維人臉圖像相比，三維人臉模型具有更多特定人的臉部幾何和紋理信息，這便大大提高了人臉的特征信息量，通過人臉識別算法所能提取的人臉特征也能更好地區分被不同對象之間的區別。因此，三維人臉模型更適合于人臉識別技術的輸入。

目前三維人臉識別算法常用的是深度學習類算法，該類型算法一般需要大數據量的高精度人臉三維模型作為訓練數據進行監督學習，因此一款簡單高效的三維人臉模型采集方法和采集裝置已經成為了一種非常重要且緊迫的需求。研究具有全自動、操作簡單、被采集人員安全無感、對采集環境光照無約束、無需采集人長時間靜止配合的3D人臉數據采集裝備，具有重要的意義。

當前，在人臉三維重建領域中，基于雙目立體匹配的人臉深度提取算法是一個重要且被廣泛使用的算法。然而，人臉表面是曲面，且法向變化范圍大，所以在近距離拍攝人臉圖像時，左右相機拍攝的人臉圖像會有較明顯的仿射變換。特別在散斑器投射的散斑顆粒較大，且密度較低，人臉與相機光軸夾角較大的情況下，人臉表面上的同一顆散斑點在左右相機拍攝的人臉圖像中，散斑顆粒形狀存在明顯的仿射變換差異，這些差異都會導致雙目立體匹配算法得到的深度圖存在較大精度誤差，進而影響人臉點云和人臉三維重建的精度。同時，由于立體匹配算法需要在極線方向上做逐像素的匹配搜索，當人臉較近時，視差搜索范圍較大，雙目立體匹配算法具有較高的計算復雜度，進而導致計算耗時較長。

發明內容

本申請的目的是提供一種基于三目相機的三維人臉采集方法及裝置，用以避免抗仿射變換，并提高計算效率和計算精度。

為了實現上述目的，本申請技術方案如下：

一種基于三目相機的三維人臉采集方法，所述三目相機包括中間的RGB相機和左右的IR相機、以及兩組IR散斑投射器，所述基于三目相機的三維人臉采集方法，包括：

獲取三目相機采集的RGB人臉圖像和左右IR散斑紋理人臉圖像；

利用RGB人臉圖像進行人臉框和人臉關鍵點檢測，得到精確的人臉關鍵點；

將人臉關鍵點投影到左右IR散斑紋理人臉圖像中，計算左右IR散斑紋理人臉圖像中對應人臉關鍵點的坐標；

通過迭代人臉關鍵點在左右IR散斑紋理人臉圖像上的投影位置，修正誤差；

計算基于左右IR散斑紋理人臉圖像中的人臉關鍵點坐標信息最小外接矩形框的并集的行數和列數，作為左右人臉框的行數和列數；

計算RGB人臉圖像原始分辨率的法向圖；