[發明專利]一種人臉關鍵特征點檢測裝置、方法和存儲介質

有效

• 申請號: 202110398226.1
• 申請日: 2021-04-14
• 公開（公告）號: CN112801069B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 桑高麗;盧麗;韓強;閆超
• 申請（專利權）人: 四川翼飛視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都君合集專利代理事務所(普通合伙) 51228
• 代理人: 尹玉

本發明公開了一種人臉關鍵特征點檢測裝置、方法和存儲介質，輸入人臉圖像并通過卷積模塊提取包含人臉關鍵點位置信息的特征圖，然后輸入到自注意力變換模塊；所述評估向量通過若干個自注意力變換模塊進行多次注意力變換融合特征圖中的信息；最后通過輸出全連接層輸出人臉關鍵特征點的坐標。本發明融合了卷積神經網絡的參數量小、訓練效率高，以及自注意力變換網絡的歸納偏置少、網絡精度高的優勢，用于人臉關鍵特點檢測，可以降低網絡運算量，有效提升檢測精度。

技術領域

本發明屬于計算機機器視覺中的人臉關鍵特征點檢測的技術領域，具體涉及一種人臉關鍵特征點檢測裝置、方法和存儲介質。

背景技術

計算機機器視覺中的人臉關鍵特征點檢測技術，用于檢測人臉圖像中，關鍵特征點的位置。人臉關鍵特征點包含如眼睛，眉毛，鼻子，嘴唇，臉邊緣輪廓等。人臉關鍵特征點的位置信息廣泛用于多種下游任務，如人臉識別，人臉圖像美化，人臉建模等。

近年來人臉關鍵特征點的檢測方法，一般可分為基于深度學習和非深度學習兩類。非深度學習的方法主要有集成回歸樹等，優點是速度快，但是定位精度較差，特別是人臉在大角度時，定位誤差較大。基于深度學習的方法一般都采用了卷積神經網絡，通過全連接層輸出關鍵點的坐標，或者是輸出關鍵點對應的熱力圖的方式，如Hourglass等網絡。但是這類網絡，往往需要較大的運算量，對于運行設備的算力要求較高，限制其應用的范圍。

因此，急需要提出一種計算工作量少、精度高的人臉關鍵特征點檢測方法，或裝置和電子設備。

發明內容

本發明的目的在于提供一種人臉關鍵特征點檢測裝置、方法和存儲介質，旨在解決上述問題。

本發明主要通過以下技術方案實現：

一種人臉關鍵特征點檢測裝置，包括數據獲取模塊、檢測模塊；所述數據獲取模塊用于獲取人臉圖像，所述檢測模塊用于將人臉圖像輸入網絡模型進行提取包含人臉關鍵點位置信息的特征圖并處理輸出人臉關鍵特征點的坐標；所述網絡模型包括第一模塊和第二模塊，所述第一模塊由從前至后依次設置的第一卷積層、第一批歸一化層、第一激活層以及若干個重復堆疊的卷積模塊組成；所述第二模塊由從前至后依次設置的評估向量、若干個自注意力變換模塊以及輸出全連接層組成；所述第一模塊兩端的卷積模塊分別與第二模塊兩端的自注意力變換模塊連接，且中部的卷積模塊與第二模塊中部的自注意力變換模塊連接；

所述人臉圖像作為第一模塊的輸入，所述卷積模塊用于提取包含人臉關鍵點位置信息的特征圖，并輸入到自注意力變換模塊；所述評估向量通過若干個自注意力變換模塊進行多次注意力變換融合特征圖中的信息；所述輸出全連接層輸出人臉關鍵特征點的坐標。即輸出人臉關鍵特征的位置，完成檢測。

本發明在人臉圖像輸入網絡模型后，利用卷積模塊提取包含人臉關鍵點位置信息的特征圖。同時，利用評估向量，通過多個注意力變換，融合特征圖中的信息，最后從輸出全連接層中輸出人臉關鍵特征點的坐標。本發明融合了卷積神經網絡的參數量小，訓練效率高，以及自注意力變換網絡的歸納偏置少，網絡精度高的優勢，用于人臉關鍵特點檢測，可以降低網絡運算量，提升檢測精度。

為了更好地實現本發明，進一步地，所述自注意力變換模塊由從前至后依次設置的單向多頭注意力計算模塊、投影模塊、多層前傳模塊構成；所述單向多頭注意力計算模塊用于計算評估向量與特征圖上各特征點的相關性，得到注意力圖，并通過注意力圖計算新的評估向量；所述投影模塊由從前至后依次設置的全連接層、歸一化層和激活層構成，用于調整新的評估向量的維度，使得新評估向量的維度與原始評估向量的維度保持一致；所述多層前傳模塊由從前至后依次設置的全連接層、歸一化層、激活層、全連接層、歸一化層、激活層構成，用于使評估向量內部信息實現交流。本發明將新評估向量與原始評估向量相加，構成一個殘差連接，使得模型更易于訓練。本發明通過自注意力變換模塊使評估向量能夠關注和聚合特征圖上與人臉關鍵特征點相關的特征點信息，并進行更新，得到具有更為豐富的人臉關鍵特征點信息的評估向量。