[發明專利]一種基于上下文和結構建模的人臉關鍵點檢測方法

在審

• 申請號: 201810398701.3
• 申請日: 2018-04-28
• 公開（公告）號: CN108596121A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 李璽;曾家建
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于上下文和結構建模的人臉關鍵點檢測方法，其特征在于，包括以下步驟：

S1、獲取用于人臉關鍵點檢測的人臉圖像數據集，定義算法目標；同時建立關鍵點檢測的預測模型和上下文網絡模型；

S2、對預測關鍵點和真實關鍵點進行上下文建模；

S3、對預測關鍵點和真實關鍵點進行結構建模；

S4、基于S2、S3的建模結果訓練預測模型；

S5、使用S4中所述預測模型檢測人臉圖像中人臉的關鍵點位置。

2.如權利要求1所述的一種基于上下文和結構建模的人臉關鍵點檢測方法，其特征在于，所述步驟S1中，用于人臉關鍵點檢測的人臉圖像數據集，包括人臉圖像Ι_train，人工標注的真實關鍵點定義算法目標為預測人臉圖像的關鍵點

3.如權利要求1所述的一種基于上下文和結構建模的人臉關鍵點檢測方法，其特征在于，所述步驟S1中，建立關鍵點檢測的預測模型和上下文網絡模型的過程如下：建立兩個深度卷積神經網絡，即預測網絡和上下文網絡，其中預測網絡是目標網絡，其輸入為人臉圖像Ι_train，輸出為預測關鍵點而上下文網絡則用以提取關鍵點上下文信息，其輸入為人臉圖像Ι_train和預測關鍵點真實關鍵點

4.如權利要求1所述的一種基于上下文和結構建模的人臉關鍵點檢測方法，其特征在于，所述步驟S2中，對預測關鍵點和真實關鍵點進行上下文建模，具體包括以下子步驟：

S21、對人臉圖像Ι_train進行零均值化后，隨機進行變換操作，所述變換操作包括放縮、旋轉、平移、添加高斯噪聲或對比度變換，再從變換后的圖像中裁剪出預設大小的圖像塊作為算法輸入，對作相同的變換和裁剪得到

S22、將S21中得到的圖像塊輸入到預測網絡中，輸出得到預測關鍵點即：

其中f()為預測網絡，θ₁為預測網絡的參數；

S23、對于中每一個預測關鍵點從輸入圖像中獲取一個以該關鍵點為中心，寬為長為的圖像區域對于中對應的真實關鍵點(x_i,y_i)，采用同樣的方式獲取一個圖像區域

S24、將S21中得到的圖像塊輸入到上下文網絡中，并分別提取圖像區域和p_i的上下文和上下文通過一個兩步方法獲得，即首先將圖像區域和p_i映射到上下文網絡第l層上的目標位置和其中第l層的特征圖用φ^l表示；然后在φ^l上分別以和位置為中心獲取一個3×3的特征表達，分別得到和

S25、量化S24中得到的上下文和之間的差異即

其中和通過以下方法進行計算：

其中表示上下文網絡第l層位置上的值,T_S表示上下文網絡第l層的總步長；

S26、計算所有N個預測關鍵點和其對應的真實關鍵點上下文差異的平均值，用以表示上下文損失Φ_CL：