[發明專利]基于語義對齊的人臉關鍵點檢測方法、系統、裝置

有效

• 申請號: 201910168643.X
• 申請日: 2019-03-06
• 公開（公告）號: CN109902641B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 朱翔昱;雷震;王金橋;劉智威
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于人臉識別領域，具體涉及一種基于語義對齊的人臉關鍵點檢測方法、系統、裝置，旨在為了提高人臉關鍵點檢測的準確度，本發明方法在傳統方法獲取基本收斂的人臉關鍵點檢測網絡后，采用所構建的包含包括標注有關鍵點的人臉圖像樣本、各關鍵點位置為中心的標準高斯的響應圖的訓練樣本，使用含有隱變量的概率模型作為極大似然估計的目標再進行人臉關鍵點檢測網絡的優化；通過最終優化的人臉關鍵點檢測網絡進行人臉關鍵點坐標的預測。本發明在網絡訓練過程中有效地克服了標注隨機性帶來的訓練震蕩問題，提高人臉關鍵點檢測的準確度。

技術領域

本發明屬于人臉識別領域，具體涉及一種基于語義對齊的人臉關鍵點檢測方法、系統、裝置。

背景技術

人臉關鍵點在基于人臉的計算機視覺,模式識別應用中占有很重要的地位，例如視頻監控和身份識別系統等。對于大部分的人臉應用，都首先需要對人臉關鍵點進行精確的檢測。

近年主流的人臉關鍵點檢測方法，主要分為兩大類，一類是傳統方法。一類是基于卷積神經網絡的方法。傳統方法通過手工圖像特征直接回歸出模型參數。其中代表性的方法是級聯回歸，其擬合過程可總結為如下公式：

p^k+1＝p^k+Reg^k(Fea(I,p^k))

在第k次迭代時，通過Reg^k回歸形狀索引特征Fea來更新形狀參數p^k。其中的形狀索引特征Fea依賴于輸入圖像I和當前的形狀參數p^k。回歸器根據形狀索引特征來更新模型參數，并計算出新的特征用于下一次迭代。利用該特性可以將若干弱回歸器串聯在一起形成一個強回歸器以逐步減小誤差。

基于卷積神經網絡的人臉關鍵點檢測方法主要分為兩大類，一類是基于坐標回歸的方法，該方法將關鍵點定位看作一個由圖像像素映射到關鍵點坐標的回歸過程，將人臉圖片輸入卷積神經網絡直接預測出每個關鍵點坐標組成的向量。另一類是基于響應圖的方法，由卷積神經網絡預測出每個關鍵點的響應圖，并將響應的峰值位置作為預測出的關鍵點位置。

以上人臉關鍵點檢測方法在訓練時，均將人工標注的關鍵點位置看作回歸目標，讓模型盡可能估計出人工標注點的位置。然而人臉關鍵點存在大量弱語義點，這些點通常僅要求均勻分布在指定的邊緣上，如人臉輪廓，眼眶，鼻梁等區域，并沒有嚴格的語義位置。由于這些弱語義點周邊紋理信息辨識度較低，人工標注結果中不可避免地存在隨機性誤差，從而導致不同樣本間的標注存在語義不一致的現象。因此，采用人工標定點直接訓練模型會導致訓練過程中產生大量無效誤差，從而使網絡擬合能力無法集中在真正需要的地方。目前為止，關鍵點的標注隨機性對模型訓練的影響尚未得到重視。

發明內容

為了解決現有技術中的上述問題，即為了提高人臉關鍵點檢測的準確度，本發明的第一方面，提出了一種基于語義對齊的人臉關鍵點檢測方法，該方法包括：

步驟S10，基于人臉關鍵點檢測網絡，獲取待檢測人臉圖像的每個關鍵點的響應圖；

步驟S20，對于獲取的每個關鍵點的響應圖，選取響應峰值的坐標作為該關鍵點的預測坐標；

其中，所述人臉關鍵點檢測網絡基于卷積神經網絡構建，并使用含有隱變量的概率模型作為極大似然估計的目標進行網絡優化，用于輸出人臉圖像中關鍵點的響應圖。

在一些優選實施方式中，所述人臉關鍵點檢測網絡，其訓練樣本包括標注有關鍵點的人臉圖像樣本、各關鍵點位置為中心的標準高斯的響應圖。

在一些優選實施方式中，所述人臉關鍵點檢測網絡，其優化過程中所采用的目標函數為