[發(fā)明專利]一種基于上下文和結構建模的人臉關鍵點檢測方法

在審

• 申請?zhí)枺?/td>: 201810398701.3
• 申請日: 2018-04-28
• 公開（公告）號: CN108596121A
• 公開（公告）日: 2018-09-28
• 發(fā)明（設計）人: 李璽;曾家建
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發(fā)明公開了一種基于上下文和結構建模的人臉關鍵點檢測方法，用于給定人臉圖像的情況下，預測人臉圖像中人臉的關鍵點位置。具體包括如下步驟：獲取用于人臉關鍵點檢測的人臉圖像數(shù)據(jù)集，并定義算法目標，同時建立預測網(wǎng)絡和上下文網(wǎng)絡；對預測關鍵點和真實關鍵點進行上下文建模；對預測關鍵點和真實關鍵點進行結構建模；訓練關鍵點檢測的預測模型；使用所述預測模型檢測人臉圖像中人臉的關鍵點位置。本發(fā)明適用于自然場景下的人臉關鍵點檢測問題，面對各類復雜情況具有較優(yōu)的效果和魯棒性。

技術領域

本發(fā)明屬于計算機視覺領域，特別地涉及一種基于上下文和結構建模的人臉關鍵點檢測方法。

背景技術

人臉關鍵點檢測是計算機視覺中一個重要的研究問題，其主要目的是對圖像和視頻中的人臉進行分析和解讀，以獲取其中的豐富信息。目前，該技術在智能視頻監(jiān)控、智能交通和商用人臉識別系統(tǒng)中已經(jīng)得到了廣泛的應用。

在自然場景下，由于受人臉姿態(tài)、光照條件和遮擋等因素影響，人臉關鍵點檢測任務在特征提取、結構信息建模和上下文信息分析層面仍然面臨巨大的挑戰(zhàn)。在此任務上，前人的研究工作大致可以劃分為兩個類別：1)基于圖像區(qū)域分類的方法和2)基于點回歸的方法。

發(fā)明內容

為解決上述問題，本發(fā)明的目的在于提供一種基于上下文和結構建模的人臉關鍵點檢測方法。該方法由基于上下文網(wǎng)絡的上下文信息建模和基于樹模型的結構信息建模模塊組成。前者能夠量化預測關鍵點和真實關鍵點之間的上下文差異并將其作為模型優(yōu)化目標的一部分，而后者則是通過分別構建一個人臉層次樹來擬合預測關鍵點和真實關鍵點的分布模式，并且設計了一種被稱作結構損失的代價函數(shù)來衡量兩個人臉層次樹之間的變形代價。

為實現(xiàn)上述目的，本發(fā)明的技術方案為：

一種基于上下文和結構建模的人臉關鍵點檢測方法，其包括以下步驟：

S1、獲取用于人臉關鍵點檢測的人臉圖像數(shù)據(jù)集，定義算法目標；同時建立關鍵點檢測的預測模型和上下文網(wǎng)絡模型；

S2、對預測關鍵點和真實關鍵點進行上下文建模；

S3、對預測關鍵點和真實關鍵點進行結構建模；

S4、基于S2、S3的建模結果訓練預測模型；

S5、使用S4中所述預測模型檢測人臉圖像中人臉的關鍵點位置。

作為優(yōu)選，用于人臉關鍵點檢測的人臉圖像數(shù)據(jù)集，包括人臉圖像Ι_train，人工標注的真實關鍵點定義算法目標為預測人臉圖像的關鍵點

作為優(yōu)選，建立關鍵點檢測的預測模型和上下文網(wǎng)絡模型的過程如下：建立兩個深度卷積神經(jīng)網(wǎng)絡，即預測網(wǎng)絡和上下文網(wǎng)絡，其中預測網(wǎng)絡是目標網(wǎng)絡，其輸入為人臉圖像Ι_train，輸出為預測關鍵點而上下文網(wǎng)絡則用以提取關鍵點上下文信息，其輸入為人臉圖像Ι_train和預測關鍵點真實關鍵點

作為優(yōu)選，對預測關鍵點和真實關鍵點進行上下文建模，具體包括以下子步驟：

S21、對人臉圖像Ι_train進行零均值化后，隨機進行變換操作，所述變換操作包括放縮、旋轉、平移、添加高斯噪聲或對比度變換，再從變換后的圖像中裁剪出預設大小的圖像塊作為算法輸入，對作相同的變換和裁剪得到

S22、將S21中得到的圖像塊輸入到預測網(wǎng)絡中，輸出得到預測關鍵點即：

其中f()為預測網(wǎng)絡，θ₁為預測網(wǎng)絡的參數(shù)；