[發明專利]面部追蹤方法及設備

有效

• 申請號: 201710053722.7
• 申請日: 2017-01-24
• 公開（公告）號: CN108345821B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 龐海彥
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/64;G06V20/40;G06T7/292
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面部追蹤方法，其特征在于，所述方法包括：

利用預先建立的面部3D模型，按照時間先后次序對通過攝像設備實時獲取的針對人臉的圖像進行面部對齊處理，并將首次完成面部對齊的一幀圖像作為初始幀圖像，且保存所述面部3D模型中的預設對齊特征點集的三維坐標集和從所述初始幀圖像中提取完成面部對齊的匹配對齊特征點集的二維坐標集；

根據所述二維坐標集和所述三維坐標集的對應關系，計算出所述初始幀圖像對應的面部初始姿態；

利用通過特征提取算法從所述初始幀圖像中提取初始跟蹤特征點集中每個特征點的二維坐標、所述面部初始姿態和所述攝像設備的內參數，獲取所述初始跟蹤特征點集中每個特征點的三維坐標；

以所述初始幀圖像為第1幀圖像，依次針對第1幀圖像之后的每一幀圖像執行以下步驟，其中，i依次從1取到n，n為大于1的整數：

利用第i幀圖像的跟蹤特征點集中的特征點進行跟蹤；

利用從第(i+1)幀圖像中獲取跟蹤到的匹配特征點集中特征點在圖像區域的二維坐標和所述第i幀圖像的跟蹤特征點集中對應特征點的三維坐標，計算出所述第(i+1)幀圖像對應的面部姿態；

利用所述第(i+1)幀圖像對應的面部姿態、所述內參數和通過特征點提取算法從所述第(i+1)幀圖像中提取的跟蹤特征點集中每個特征點的二維坐標，獲取所述第(i+1)幀圖像的跟蹤特征點集中每個特征點的三維坐標。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

創建關鍵幀集合，在獲取所述初始幀圖像之后，將所述初始幀圖像作為關鍵幀圖像存儲到所述關鍵幀集合中，并將所述初始幀圖像的跟蹤特征點集中每個特征點的三維坐標存儲到所述關鍵幀集合中；

以及依次針對所述初始幀圖像及之后的每一幀圖像，判斷該幀圖像和所述關鍵幀集合中每個關鍵幀圖像之間的相似度是否小于第一預設相似度，在判斷出該幀圖像和每個關鍵幀圖像之間的相似度均小于所述第一預設相似度時，將該幀圖像作為關鍵幀圖像并存儲到所述關鍵幀集合中，并將該幀圖像的跟蹤特征點集中每個特征點的三維坐標存儲到所述關鍵幀集合中。

3.如權利要求2所述的方法，其特征在于，在計算出所述第(i+1)幀圖像對應的面部姿態之后，所述方法還包括：

判斷所述第(i+1)幀圖像對應的面部姿態是否跟蹤成功；

若所述第(i+1)幀圖像對應的面部姿態跟蹤失敗，則對所述第(i+1)幀圖像進行特征點檢測，得到第一檢測特征點集，其中，所述第一檢測特征點集包括每個特征點在圖像區域內的特征描述信息；利用特征描述信息從所述關鍵幀集合中確定與所述第(i+1)幀圖像匹配的匹配關鍵幀圖像，并獲取所述第(i+1)幀圖像和所述匹配關鍵幀圖像的第一匹配特征點對；利用所述第一匹配特征點對中屬于所述第一檢測特征點集的特征點的二維坐標和所述第一匹配特征點對中屬于所述匹配關鍵幀圖像的跟蹤特征點集的特征點的三維坐標，計算出所述第(i+1)幀圖像對應的面部姿態；再根據所述第(i+1)幀圖像對應的面部姿態、所述內參數和通過特征點提取算法從所述第(i+1)幀圖像中提取的跟蹤特征點集中每個特征點的二維坐標，獲取所述第(i+1)幀圖像的跟蹤特征點集中每個特征點的三維坐標；

若所述第(i+1)幀圖像對應的面部姿態跟蹤成功，則根據所述第(i+1)幀圖像對應的面部姿態、所述內參數和通過特征點提取算法從所述第(i+1)幀圖像中提取的跟蹤特征點集中每個特征點的二維坐標，獲取所述第(i+1)幀圖像的跟蹤特征點集中每個特征點的三維坐標。

4.如權利要求3所述的方法，其特征在于，所述判斷所述第(i+1)幀圖像對應的面部姿態是否跟蹤成功，具體為：

將所述面部3D模型按照所述第(i+1)幀圖像對應的面部姿態投影到圖像平面，獲取到投影后的投影圖像；

將所述投影圖像和所述第(i+1)幀圖像進行重疊處理，判斷所述投影圖像所在區域是否超出所述第(i+1)幀圖像所在區域，獲取第一判斷結果；

根據所述第一判斷結果，判斷所述第(i+1)幀圖像對應的面部姿態是否跟蹤成功。