[發明專利]一種基于3D人臉模型的視頻監控動態人臉識別方法及裝置

有效

• 申請號: 202011501892.5
• 申請日: 2020-12-17
• 公開（公告）號: CN112528902B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 游志勝;傅可人;程鵬
• 申請（專利權）人: 四川大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/74;G06V10/80;G06K9/62
• 代理公司: 四川力久律師事務所 51221
• 代理人: 韓洋

本發明公開了一種基于3D人臉模型的視頻監控動態人臉識別方法及裝置，包括：提取采集端采集到的待識別二維人臉圖像的二維特征，并將其轉換為三維人臉圖像，提取轉換得到的三維人臉圖像的三維特征，串聯得到包含二維信息與三維信息的第一融合特征；同時，提取識別端預存的三維人臉模型的三維信息，并將預存三維人臉模型投影至二維投影圖像，提取投影圖像的二維特征，串聯得到包含二維信息與三維信息的第二融合特征，最后利用兩個融合特征進行人臉識別；相應的融合特征在二維紋理信息基礎上充分融合了三維形狀信息，改善只利用二維紋理信息進行識別所存在的無法在復雜環境下識別成功的問題，有效提高識別的準確率、保證識別算法的魯棒性。

技術領域

本發明涉及計算機視覺與模式識別技術領域，特別涉及一種基于3D人臉模型的視頻監控動態人臉識別方法及裝置。

背景技術

人臉識別技術已經成為新一代人工智能研究開發和應用的熱點和亮點。得益于大數據、深度學習等新一代人工智能技術的迅速發展，基于二維(2D)圖片的人臉識別技術在環境可控、用戶配合的多個應用領域如安全檢查、金融等取得了重要應用，產生了巨大的社會與經濟效益。然而，對于更廣泛的環境不可控、用戶非配合的動態場景下的應用如視頻監控動態人臉識別，現有人臉識別技術的性能依然遠未滿足應用需求。基于三維(3D)人臉模型的人臉識別技術是未來發展的趨勢之一，3D人臉模型比2D人臉圖片擁有諸如三維形狀等更加豐富的信息，可提高環境不可控、用戶非配合如大姿態、多光照變化等動態情況下的識別性能。然而對于注冊端和識別端都采用3D傳感器捕獲3D人臉，將目前社會上所有的2D攝像頭都改造成3D傳感器則是不能短時間內實現。一種實用方案是注冊端采集3D人臉模型，而識別端采集一張或多張2D人臉圖片進行識別，即利用三維人臉模型識別二維人臉圖片的相關技術。

目前涉及利用三維人臉模型識別二維人臉圖像的技術較為匱乏，多數還停留在利用三維人臉模型識別三維人臉的階段，而非利用三維人臉模型去識別二維人臉圖像。申請公布號為CN108427871A的中國發明專利申請公開了一種3D人臉快速身份認證方法和裝置，其將三維人臉模型旋轉到待識別二維圖像相同的姿態并投影到二維圖像，再將投影后的二維圖像與待識別的二維圖像進行比對識別。申請公布號為CN109858433A的中國發明專利申請公開了一種基于三維人臉模型識別二維人臉圖片的方法及裝置，其將三維人臉模型與單張二維圖片通過某一準則都投影到多個姿態再分別進行匹配識別。然而，以上方法存在只將三維人臉模型投影到二維圖像，利用三維信息進行二維圖片的對齊，最后利用對齊后的二維紋理信息進行人臉識別，但是其在特征對比過程中并沒有直接利用三維人臉蘊含的三維形狀信息進行人臉識別。

發明內容

本發明的目的在于克服現有利用三維人臉模型識別二維人臉圖像的技術所存在的未利用三維形狀信息進行人臉識別的缺陷，提供一種基于3D人臉模型的視頻監控動態人臉識別方法及裝置，在提取待識別二維圖像的二維信息、預存的三維人臉模型的三維信息對應的二維投影信息的基礎上，通過將采集端采集到的待識別二維圖像轉換為三維人臉模型，并對三維人臉模型做UV轉換，得到三維信息，同時利用UV轉換提取識別端預存的三維人臉模型的三維信息，再利用二維信息、三維信息的融合特征進行特征對比、人臉識別；通過聯合二維紋理信息與三維形狀信息進行人臉識別，改善只使用二維投影圖像(只利用二維紋理信息)進行識別所存在的無法在復雜環境下識別成功的問題，有效提高識別的準確率。

為了實現上述發明目的，本發明提供了以下技術方案：

一種基于3D人臉模型的視頻監控動態人臉識別方法，包括：

A、提取N張待識別二維人臉圖像；利用第一特征提取器對N張所述待識別二維人臉圖像進行特征提取，得到第一二維特征向量；其中，N為整數且N≥1；

以及，將N張所述待識別二維人臉圖像轉換為三維人臉模型，對所得三維人臉模型進行UV展開，得到第一UV圖，利用第二特征提取器對第一UV圖進行特征提取，得到第一三維特征向量；串聯所述第一二維特征向量與第一三維特征向量，得到第一融合特征向量；