[發明專利]關鍵點定位方法

有效

• 申請號: 201710191274.7
• 申請日: 2017-03-27
• 公開（公告）號: CN106991388B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 孫哲南;李琦;張鴻文
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

一種關鍵點定位方法，包括以下步驟：輸入圖片，采用預訓練的全卷積網絡獲取圖片中感興趣物體的每個關鍵點的響應圖；基于每個關鍵點的響應圖，采用預訓練的點分布模型獲取每個關鍵點的初始定位；基于加權約束均值漂移方法，迭代調整每個關鍵點的定位，最后得到每個關鍵點的最終定位。本發明將數據驅動的表達能力及模型驅動的先驗推理能力有機地結合起來，其使用的全卷積網絡能有效應對圖片中物體的剛性及非剛性變換，點分布模型能有效應對圖片中存在的遮擋情況，加權約束均值漂移能合理地權衡前兩者的作用，從而極大地提高了關鍵點定位的魯棒性。

技術領域

本發明屬于模式識別、計算機視覺、數字圖像處理等技術領域，更具體地涉及一種關鍵點定位方法。

背景技術

關鍵點定位是計算機自動處理圖像的重要環節之一，其旨在快速、準確的定位出圖像中感興趣物體語義性較強的關鍵點，例如人臉圖像中的眼角、鼻尖和嘴角等。

就人臉關鍵點定位而言，現有技術中，傳統的基于模型驅動方法及新興的基于數據驅動方法均能較好地處理表情變化不大及輕微遮擋下的近正面人臉圖片。但受限于模型驅動方法的表達能力及數據驅動方法對異常點的敏感性，現有技術并未能較好地處理頭部姿態較大、表情夸張及存在嚴重遮擋的人臉圖片。另外，現有技術通常根據人臉檢測器的輸出結果對關鍵點定位進行初始化，這種初始化策略使得定位算法容易陷入局部最小值，從而在極端情況下甚至會致使算法完全失效。

發明內容

基于以上問題，本發明的目的在于提出一種關鍵點定位方法，用于解決上述技術問題中的至少之一。

為實現上述目的，本發明提出一種關鍵點定位方法，包括以下步驟：

步驟S1、輸入圖片，采用預訓練的全卷積網絡獲取圖片中感興趣物體的每個關鍵點的響應圖；

步驟S2、基于每個關鍵點的響應圖，采用預訓練的點分布模型獲取每個關鍵點的初始定位；

步驟S3、基于加權約束均值漂移方法，迭代調整每個關鍵點的定位，最后得到每個關鍵點的最終定位。

進一步地，上述步驟S2具體包括以下步驟：

步驟S21、選擇每個關鍵點的響應圖中響應值最大的位置，作為每個關鍵點的粗略定位；

步驟S22、采用預訓練的點分布模型以最小重構誤差重構上述粗略定位，得到一定位形狀，并將定位形狀作為每個關鍵點的初始定位。

進一步地，上述步驟S3具體包括以下步驟：

步驟S31、提取每個關鍵點的響應圖中，以當前定位為中心的每個關鍵點的局部響應圖；

步驟S32、基于每個關鍵點的局部響應圖，計算置信度向量；

步驟S33、對每個關鍵點的局部響應圖進行歸一化，使每個關鍵點的局部響應圖的響應值求和為1；

步驟S34、基于歸一化后的局部響應圖計算均值漂移向量；

步驟S35、基于置信度向量和均值漂移向量，采用加權約束均值漂移方法計算點分布模型的參數更新量；

步驟S36、基于參數更新量，采用點分布模型更新所述每個關鍵點的定位；

步驟S37、判斷點分布模型的計算是否收斂或是否達到最大迭代次數，是，則輸出每個關鍵點的最終定位，否，則重復步驟S31～S36。

進一步地，上述步驟S31中的每個關鍵點的局部響應圖的大小隨著迭代次數的增加而減小，直至其寬度小于預設值。

進一步地，上述置信度向量根據每個關鍵點的局部響應圖的響應情況計算；局部響應圖的響應值越大、響應位置越集中，置信度向量越大；置信度向量w_i的表達式如下：