[發明專利]一種遠紅外熱成像人臉關鍵點的定位方法

有效

• 申請號: 201911322464.3
• 申請日: 2019-12-20
• 公開（公告）號: CN111046826B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 裘世明;駱海銘;馬自強;李明睿;張利兵
• 申請（專利權）人: 北京碧拓科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/80;G06N3/0464;G06N3/0455;G06N3/084
• 代理公司: 北京信潤律師事務所 11537
• 代理人: 任崇

1.一種遠紅外熱成像人臉關鍵點的定位方法，其特征在于：包括以下步驟：

步驟一、構建數據集：通過自有數據構建遠紅外人臉數據集，自主對圖像中人臉關鍵點進行標注，圖像尺寸為384*288像素；

步驟二、搭建網絡模型：在深度學習框架Pytorch上搭建基于深度學習的遠紅外人臉關鍵點定位網絡；基礎網絡結構為編碼器解碼器結構，采用兩個子網絡級聯的形式組成整體網絡；

步驟三、制作標簽：通過在空白圖像中不同通道中關鍵點對應位置放置高斯核形成關鍵點熱圖來制作標簽，即在空白圖像中畫高斯核的方式形成回歸用的標簽，loss函數采用L2Loss；

loss函數：

其中，x代表每個像素，f(x)為網絡的輸出值，y(x)代表標簽真值，N代表公式中求和算式中的x的總數；

高斯核函數：

其中，j_i和k_i代表第i個關鍵點在圖像中的x和y的坐標，σ_x，σ_y分別代表高斯核在x和y方向的標準差；

步驟四、數據增強與圖像預處理：

數據增強：訓練時對圖像做一種或者多種變換，圖像變換后標簽的真值也會隨變換改變，數據增強可以提升模型的泛化能力；

圖像預處理：在圖像輸入網絡之前，將圖像歸一化到0～1之間；

步驟五、訓練模型：采用均方誤差作為損失函數訓練模型，采用Adam優化策略訓練關鍵點定位網絡；參數采用Xavier初始化，批次大小設置為64，初始學習率0.001，每迭代50個周期學習率衰減一次，衰減率為0.1，經過200個周期迭代后效果達到最佳；其中，前50個周期采用半徑為7個像素放置高斯核作為標簽真值，后150個周期采用半徑為3個像素放置高斯核作為標簽真值；

步驟六、模型推理：模型訓練好之后，通過模型推算關鍵點需要將數據進行步驟四中的圖像預處理歸一化到0～1之間，將預處理之后的圖像送進模型前傳生成預測熱圖Heatmap；取出預測熱圖中每個通道中最大值所在位置，即為該通道預測關鍵點所在位置；

p_i＝argmax(Heatmap_i)，

其中，Pi為關鍵點i的坐標，Heatmap_i為對應于關鍵點i的預測熱圖。

2.根據權利要求1所述的遠紅外熱成像人臉關鍵點的定位方法，其特征在于：所述步驟一中關鍵點標注數據為在圖中標注左眼，右眼，鼻尖，左嘴角，右嘴角五個關鍵點的位置。

3.根據權利要求1所述的遠紅外熱成像人臉關鍵點的定位方法，其特征在于：所述步驟二中：兩個子網絡中，子網絡一為修改后的U-Net網絡，子網絡二為Hourglass網絡；子網絡一的輸入為圖像，子網絡二的輸入為圖像拼接上子網絡一最后一層的特征圖；子網絡二網絡結構為原始Hourglass結構。

4.根據權利要求1所述的遠紅外熱成像人臉關鍵點的定位方法，其特征在于：所述步驟四中，圖像預處理的具體方法為：①將圖像所有像素從小到大排列，取前12％的像素的最大值記為img_min；②圖像中的最大值，記為img_max；③將圖像中所有小于img_min的值重置為img_min；④以img_max和img_min為上下界，將圖像歸一化到0～1之間，具體為：X＝(X-img_min)/(img_max-img_min)，X為圖像。

5.根據權利要求4所述的遠紅外熱成像人臉關鍵點的定位方法，其特征在于：所述步驟四中，數據增強的變換方式包括：旋轉：15°～-15°，裁切拉伸：x：0.8～1.2像素，y：0.8～1.2像素，剪切變換，分段仿射變換。