[發明專利]面部追蹤方法及設備

有效

• 申請號: 201710053722.7
• 申請日: 2017-01-24
• 公開（公告）號: CN108345821B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 龐海彥
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/64;G06V20/40;G06T7/292
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種面部追蹤方法及設備，利用預先建立的面部3D模型對通過攝像設備實時獲取的針對人臉的圖像進行面部對齊處理，并將首次完成面部對齊的一幀圖像作為初始幀圖像，并獲取初始幀圖像中的每個特征點的三維坐標，然后以初始幀圖像為第1幀圖像，通過前一幀圖像的特征點進行跟蹤，從后一幀圖像中獲取跟蹤到的匹配特征點集，利用匹配特征點集獲取后一幀圖像中的每個特征點的三維坐標。本發明提供的面部追蹤方法及設備，用于解決現有的面部追蹤方法對較大角度的旋轉無法進行跟蹤、魯棒性差的技術問題，實現了人臉在較大角度的旋轉過程中仍能進行有效跟蹤，并能提高魯棒性的技術效果。

技術領域

本發明涉及面部識別技術領域，尤其涉及一種面部追蹤方法及設備。

背景技術

現有的面部跟蹤方法通常是利用前一幀圖像中特征點坐標及對應3D坐標，在當前幀圖像中尋找前一幀圖像的特征點在當前幀圖像中的匹配點，通過這些匹配點的3D坐標即為前一幀圖像中對應點的3D坐標，利用特征點的圖像坐標和3D坐標的對應，使用POSIT算法或者PnP(需要對攝像頭進行標定)即可算出當前幀圖像的姿態，根據當前幀圖像的姿態進行面部跟蹤。

但是，現有的面部追蹤方法在實際應用過程中，由于物體運動的變化，最初的圖像特征點可能不斷消失；而且跟蹤或者匹配算法得到的對應點越來越少或者跟蹤誤差越來越嚴重，這些原因導致現有的面部追蹤方法對較大角度的旋轉無法進行跟蹤、魯棒性差的問題。

發明內容

本發明提供一種面部追蹤方法及設備，用于解決現有的面部追蹤方法對較大角度的旋轉無法進行跟蹤、魯棒性差的技術問題，實現了人臉在較大角度的旋轉過程中仍能進行有效跟蹤，并能提高魯棒性的技術效果。

本申請第一方面提供了一種面部追蹤方法，所述方法包括：

利用預先建立的面部3D模型，按照時間先后次序對通過攝像設備實時獲取的針對人臉的圖像進行面部對齊處理，并將首次完成面部對齊的一幀圖像作為初始幀圖像，且保存所述面部3D模型中的預設對齊特征點集的三維坐標集和從所述初始幀圖像中提取完成面部對齊的匹配對齊特征點集的二維坐標集；

根據所述二維坐標集和所述三維坐標集的對應關系，計算出所述初始幀圖像對應的面部初始姿態；

利用通過特征提取算法從所述初始幀圖像中提取初始跟蹤特征點集中每個特征點的二維坐標、所述面部初始姿態和所述攝像設備的內參數，獲取所述初始跟蹤特征點集中每個特征點的三維坐標；

以所述初始幀圖像為第1幀圖像，依次針對第1幀圖像之后的每一幀圖像執行以下步驟，其中，i依次從1取到n，n為大于1的整數：

利用第i幀圖像的跟蹤特征點集中的特征點進行跟蹤；

利用從第(i+1)幀圖像中獲取跟蹤到的匹配特征點集中特征點在圖像區域的二維坐標和在所述面部3D模型的三維坐標，計算出所述第(i+1)幀圖像對應的面部姿態；

利用所述第(i+1)幀圖像對應的面部姿態、所述內參數和通過特征點提取算法從所述第(i+1)幀圖像中提取的跟蹤特征點集中每個特征點的二維坐標，獲取所述第(i+1)幀圖像的跟蹤特征點集中每個特征點的三維坐標。

可選的，所述方法還包括：

創建關鍵幀集合，在獲取所述初始幀圖像之后，將所述初始幀圖像作為關鍵幀圖像存儲到所述關鍵幀集合中，并將所述初始幀圖像的跟蹤特征點集中每個特征點的三維坐標存儲到所述關鍵幀集合中；

以及依次針對所述初始幀圖像及之后的每一幀圖像，判斷該幀圖像和所述關鍵幀集合中每個關鍵幀圖像之間的相似度是否小于第一預設相似度，在判斷出該幀圖像和每個關鍵幀圖像之間的相似度均小于所述第一預設相似度時，將該幀圖像作為關鍵幀圖像并存儲到所述關鍵幀集合中，并將該幀圖像的跟蹤特征點集中每個特征點的三維坐標存儲到所述關鍵幀集合中。