[發明專利]一種基于雙字典學習的遮擋魯棒性人臉對齊方法

有效

• 申請號: 202010000354.1
• 申請日: 2020-01-02
• 公開（公告）號: CN111079715B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 傅予力;謝揚;許曉燕;呂玲玲;李現峰;向友君
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/772;G06V10/776
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 蔣劍明

本發明公開了一種基于雙字典學習的遮擋魯棒性人臉對齊方法，該對齊方法包括：訓練過程與對齊過程。本發明在收集人臉面部特征時，綜合考慮了人臉全局形狀特征和局部外觀特征，得到的訓練模型在測試擬合時對噪聲有更強的抗干擾能力，同時，針對遮擋條件下人臉關鍵點的突變問題，進一步分析對齊誤差，引入關鍵點突變參數和對齊誤差權重衰減參數，構建對齊誤差編碼矩陣，使字典學習過程更多地關注未遮擋部分，減輕遮擋位置與遮擋樣式帶來的影響，提高了人臉對齊的準確率，更好地適應自然條件下有遮擋的人臉對齊。

技術領域

本發明涉及計算機視覺和模式識別技術領域，具體涉及一種基于雙字典學習的遮擋魯棒性人臉對齊方法。

背景技術

人臉對齊，即根據輸入人臉圖像，自動定位出眼睛、鼻尖、嘴角、輪廓等面部關鍵點，是自動人臉識別、人臉追蹤、表情分析等應用中不可或缺的一部分。宏觀上講，面部關鍵點就是人臉的稀疏表示，因此，構建簡單、有效、通用性強的字典來表示人臉關鍵點是近年來計算機視覺和模式識別領域的研究熱點。

目前，基于單字典學習的人臉對齊方法發展較為成熟，這些方法大多針對人臉的全局形狀特征采取從粗到精的方式進行學習，獲得人臉最終形狀，但僅依靠形狀很難體現人臉內在特征，且在局部遮擋、光照等一系列變化的影響下，無法獲取完整的面部結構，人臉對齊精度嚴重下降。研究表明，由于遮擋位置與遮擋樣式的可變性，構建遮擋子空間或更復雜的字典并不能完全排除遮擋的影響，人臉對齊應該更多的關注于未遮擋部分。

綜合以上問題，目前亟待提出一種具有遮擋魯棒性的人臉對齊方法。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種基于雙字典學習的遮擋魯棒性人臉對齊方法，在字典學習過程中綜合考慮人臉的全局形狀特征與局部外觀特征，并進一步分析對齊誤差，引入關鍵點突變參數和對齊誤差權重衰減參數，構建誤差編碼矩陣，提高自然條件下有遮擋的人臉對齊精度，以便后續對人臉進行識別、追蹤與合成。

本發明的目的可以通過采取如下技術方案達到：

一種基于雙字典學習的遮擋魯棒性人臉對齊方法，所述的人臉對齊方法包括：

S1、訓練過程：

輸入訓練集并初始化人臉關鍵點、形狀字典、外觀字典；

訓練共包括L次學習過程，在第i次學習過程中，其中i＝0,1,…,L-1，根據當前人臉關鍵點的形狀特征和外觀特征，分析對齊誤差，構建誤差編碼矩陣，求解最優化的形狀字典和外觀字典；

更新人臉關鍵點；判斷是否達到最大學習次數L，若未達到，則根據更新的人臉關鍵點進行第i+1次學習，達到最大學習次數時，獲得由L個形狀字典和L個外觀字典構成的模型M；

S2、對齊過程：輸入測試人臉并初始化人臉關鍵點，利用步驟S1中訓練得到的模型M更新人臉關鍵點坐標；更新L次后，輸出最終人臉對齊結果。

進一步地，所述的S1、訓練過程中輸入訓練集后對人臉關鍵點、形狀字典、外觀字典進行初始化，具體過程如下：

對訓練圖片進行人臉檢測并歸一化所有人臉尺寸；計算平均人臉形狀向量作為初始人臉關鍵點；從訓練集中隨機選取m個樣本作為形狀字典和外觀字典的初始值值和

進一步地，所述的S1、訓練過程中分析對齊誤差，引入關鍵點突變參數和對齊誤差權重衰減參數，求解最優化的對齊誤差編碼矩陣，以及在該對齊誤差編碼矩陣下最優化的形狀字典和外觀字典。

進一步地，所述的S1、訓練過程中采取批處理方式，共包括L次學習過程，每次學習保存最優化的形狀字典和外觀字典，達到最大學習次數時，獲得由L個形狀字典和L個外觀字典構成的模型M。