[發明專利]一種遠紅外熱成像人臉關鍵點的定位方法

有效

• 申請號: 201911322464.3
• 申請日: 2019-12-20
• 公開（公告）號: CN111046826B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 裘世明;駱海銘;馬自強;李明睿;張利兵
• 申請（專利權）人: 北京碧拓科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/80;G06N3/0464;G06N3/0455;G06N3/084
• 代理公司: 北京信潤律師事務所 11537
• 代理人: 任崇

本發明公開了一種遠紅外熱成像人臉關鍵點的定位方法，包括以下步驟：構建數據集、搭建網絡模型、制作標簽、數據增強與圖像預處理、訓練模型、模型推理，形成最終的熱圖。本發明基于深度學習算法，通過全卷積神經網絡生成關鍵點熱圖，通過熱圖定位關鍵點。通過精心設計的網絡結構，專門定制的數據增強方法，經過調優的模型優化算法，以及精確標注的數據，形成了整套遠紅外熱成像人臉關鍵點定位技術。本發明可以實現遠紅外圖像中人臉關鍵點定位，從而通過關鍵點定位獲得人臉不同區域的溫度。

技術領域

本發明涉及一種定位方法，尤其涉及一種遠紅外熱成像人臉關鍵點的定位方法。

背景技術

傳統人臉檢測方法如ASM(Active?Shape?Model)等方法在運行效率與方法的泛化能力都低于先進的深度學習方法。但是紅外熱像的人臉圖像沒有成熟的公開數據集，也沒有成熟的人臉關鍵點制定規則，直接采用自然圖像中的人臉關鍵點定位方法難以達到較好的效果。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種遠紅外熱成像人臉關鍵點的定位方法。

為了解決以上技術問題，本發明采用的技術方案是：一種遠紅外熱成像人臉關鍵點的定位方法，包括以下步驟：

步驟一、構建數據集：通過自有數據構建遠紅外人臉數據集，自主對圖像中人臉關鍵點進行標注，圖像尺寸為384*288像素；

步驟二、搭建網絡模型：在深度學習框架Pytorch上搭建基于深度學習的遠紅外人臉關鍵點定位網絡；基礎網絡結構為編碼器解碼器結構，采用兩個子網絡級聯的形式組成整體網絡；

步驟三、制作標簽：通過在空白圖像中不同通道中關鍵點對應位置放置高斯核形成關鍵點熱圖來制作標簽，即在空白圖像中畫高斯核的方式形成回歸用的標簽，loss函數采用L2Loss；

loss函數：

其中，x代表每個像素，f(x)為網絡的輸出值，y(x)代表標簽真值，N代表公式中求和算式中的x的總數；

高斯核函數：

其中，j_i和k_i代表第i個關鍵點在圖像中的x和y的坐標，σ_x，σ_y分別代表高斯核在x和y方向的標準差；

步驟四、數據增強與圖像預處理：

數據增強：訓練時對圖像做一種或者多種變換，圖像變換后標簽的真值也會隨變換改變，數據增強可以提升模型的泛化能力；

圖像預處理：在圖像輸入網絡之前，將圖像歸一化到0～1之間；

步驟五、訓練模型：采用均方誤差作為損失函數訓練模型，采用Adam優化策略訓練關鍵點定位網絡；參數采用Xavier初始化，批次大小設置為64，初始學習率0.001，每迭代50個周期學習率衰減一次，衰減率為0.1，經過200個周期迭代后效果達到最佳；其中，前50個周期采用半徑為7個像素放置高斯核作為標簽真值，后150個周期采用半徑為3個像素放置高斯核作為標簽真值；

步驟六、模型推理：模型訓練好之后，通過模型推算關鍵點需要將數據進行步驟四中的圖像預處理歸一化到0～1之間，將預處理之后的圖像送進模型前傳生成預測熱圖Heatmap；取出預測熱圖中每個通道中最大值所在位置，即為該通道預測關鍵點所在位置；

p_i＝arg?max(Heatmap_i)，

其中，Pi為關鍵點i的坐標，Heatmap_i為預測熱圖。

進一步地，步驟一中關鍵點標注數據為在圖中標注左眼，右眼，鼻尖，左嘴角，右嘴角五個關鍵點的位置。