[發明專利]一種人臉關鍵點檢測的模型訓練方法、檢測方法、裝置，及終端設備

在審

• 申請號: 202010764497.X
• 申請日: 2020-08-03
• 公開（公告）號: CN114067380A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 林堅;周金明
• 申請（專利權）人: 南京行者易智能交通科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種人臉關鍵點檢測的模型訓練方法、檢測方法、裝置，及終端設備，其中模型訓練方法包括：步驟1，采集包含人臉的原始圖像，標注處N個人臉關鍵點坐標，構建原始訓練集；步驟2：獲取人臉區域框，并對人臉區域框進行隨機放大，得到構建增廣訓練集；步驟3，對增廣數據集進行圖像預處理；步驟4，獲取增廣數據集圖像的歐拉角度標簽；步驟5，對人臉關鍵點檢測模型進行訓練，基于該模型訓練方法得到的網絡進行人臉關鍵點的檢測，可以在保證精度的情況下提高檢測速度。

技術領域

本發明涉及計算機視覺和人臉識別技術領域，具體涉及一種人臉關鍵點檢測的模型訓練方法、檢測方法、裝置，及終端設備。

背景技術

人臉關鍵點檢測的重點是對給定的人臉圖像進行關鍵點定位，關鍵點是人為定義的、用于表示人臉五官和輪廓上的某些點。如何精準高效的定位關鍵點是人臉分析及識別的重要前提。目前人臉關鍵點檢測方法主要有基于ASM(Active Shape Model)和AAM(Active Appearnce Model)的傳統方法、基于CSR(Cascaded Shape Regression)的方法、基于深度學習的方法，但是現有方法很難保證精度的情況下實現快速檢測。

發明內容

為了克服現有技術的不足，本公開實施例提供了一種人臉關鍵點檢測的模型訓練方法、檢測方法、裝置，及終端設備，可以在保證精度的情況下提高檢測速度。技術方案如下：

第一方面，提供了一種人臉關鍵點檢測的模型訓練方法，該方法包括如下步驟：

步驟1，采集包含人臉的原始圖像，標注處N個人臉關鍵點坐標，人臉關鍵點坐標是相對于原始圖像的坐標，原圖寬為width，高為height，構建原始訓練集。

步驟2：獲取人臉區域框，并對人臉區域框進行隨機放大，得到構建增廣訓練集；

計算每個圖像關鍵點的最大最小橫縱坐標，構成原始人臉區域框src_box(x_min，y_min，x_max，y_max)，對人臉區域框使用隨機放大的方法得到num組放大后的人臉區域enlarge_box(x_min’，y_min’，x_max’，y_max’)，并對應將相對原始圖像的關鍵點坐標轉換為相對enlarge_box的關鍵點坐標，從而構建增廣訓練集。

步驟3，對增廣數據集進行圖像預處理。

步驟4，獲取增廣數據集圖像的歐拉角度標簽。

從人臉關鍵點中獲取左眼角，右眼角，鼻尖，左嘴角，右嘴角，下頜共六個點的坐標，計算旋轉矩陣，再轉換為歐拉角；所述歐拉角包括俯仰角pitch、偏航角raw、翻滾角roll三個角度。

步驟5，對人臉關鍵點檢測模型進行訓練，

采用增廣訓練集，以訓練集中的圖像與其關鍵點，及其歐拉角度標簽為輸入，對輸入圖像使用基礎特征提取模塊，得到基礎特征部分，再采用關鍵點網絡主分支和角度網絡輔助分支分別對基礎特征部分進行預測。

關鍵點網絡主分支包括第一尺度特征提取模塊、第二尺度特征提取模塊、第三尺度特征提取模塊和關鍵點回歸預測模塊，對基礎特征部分提取第一尺度特征；繼續對第一尺度特征提取得到第二尺度特征；再對第二尺度特征提取得到第三尺度特征；最后融合所有三個尺度的特征作為關鍵點回歸預測模塊的輸入，得到預測的關鍵點。

角度網絡輔助分支包括歐拉角度特征提取模塊和歐拉角度特征預測模塊，對基礎特征部分使用歐拉角度特征提取模塊提取歐拉角度特征，再使用歐拉角度特征預測模塊，得到預測的歐拉角度。