[發明專利]一種同時檢測和特征提取的人臉識別方法

在審

• 申請號: 202110603538.1
• 申請日: 2021-05-31
• 公開（公告）號: CN113378675A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 茅耀斌;沈慶強;項文波;陳婷;吳敏杰;張偉
• 申請（專利權）人: 南京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 封睿

1.一種同時檢測和特征提取的人臉識別方法，其特征在于，包括如下步驟：

步驟1，數據建模與準備

構建人臉檢測數據集、人臉特征提取數據集，組成多任務人臉檢測識別數據集；

步驟2，深度神經網絡模型訓練

構建主干網絡、人臉檢測分支、人臉特征提取分支，訓練基于深度神經網絡的人臉檢測識別模型，其中主干網絡用于提取圖像中深層特征，為后續檢測以及特征提取分支提供回歸分類信息，人臉檢測分支用于估算熱圖、目標中心偏移以及邊界框的大小，人臉特征提取分支用于提取每個人臉的特征生成特征向量；

步驟3，模型推理應用

將待檢測識別圖像輸入到訓練好的人臉檢測識別模型，完成人臉檢測以及特征提取，進而確定人員身份信息。

2.根據權利要求1所述的同時檢測和特征提取的人臉識別方法，其特征在于，步驟1中，數據建模與準備，具體方法為：

步驟1.1、構建人臉檢測數據集

用矩形框形式在圖像中標注出人臉區域，記錄矩形框的中心點位置以及寬高；

步驟1.2、構建人臉特征提取數據集

標簽中設置身份標識位，同一身份采用同一標識，不同身份的標識不同；

步驟1.3、構建多任務人臉檢測識別數據集

將已構建的人臉檢測數據集和人臉特征提取身份數據集進行綜合，得到標簽內容為身份標識位、矩形框中心點坐標、矩形框寬高，并設置標簽文件名稱與原圖像名相一致。

3.根據權利要求1所述的同時檢測和特征提取的人臉識別方法，其特征在于，步驟2中，深度神經網絡模型訓練，具體方法為：

(1)主干網絡

主干網絡采用ResNet+轉置卷積、DLA、Hourglass、MobilenetV2或者高分辨率網絡；

(2)人臉檢測分支

檢測分支采用無錨框進行設計，表現為在主干網絡后的三個平行頭，分別熱圖頭、中心點偏移頭、邊界框頭，包括輸入層、動態卷積層、第一全連接層、第二全連接層和輸出層；

(a)熱圖頭

檢測分支熱圖頭基于熱圖表示法估計對象中心的位置，對于在圖像中每個目標檢測邊界框計算中心點其中：劃分步幅得到其在特征圖上的位置則圖像(x,y)處的特征圖響應M_xy表示為：

其中N代表圖像中人臉框數量，σ_c代表標準差，熱圖頭損失函數L_heat采用Focal-Loss損失函數，如式(2)所示：

式中表示模型預估的熱值圖，α和β表示為Focal-Loss預設的超參數；

(b)中心點偏移頭

中心點偏移頭旨在更加精確地定位人臉位置，設輸出的中心點位移為O∈R^W×H×2，對于每個邊界框其中心點偏移量為中心點偏移頭損失函數L_center采用l₁范數，如式(3)所示：

式中表示模型預估的中心點偏移量；

(c)邊界框頭

邊界框頭用于估計每個錨點位置的人臉邊界框的高度和寬度，與特征提取分支沒有直接關系，但是定位精度將影響人臉檢測性能的評估，設輸出的邊界框的大小表示為S∈R^W×H×2，對于每個邊界框其大小為邊界框頭損失函數L_box采用l₁范數，如式(4)所示；

式中表示模型預估的邊界框大?。?/p>

(3)人臉特征提取分支

人臉特征提取分支通過分類任務來學習特征提取任務，訓練集中具有相同標識的所有對象認為是同一類，對于圖像中每個邊界框獲取其在熱圖上的中心在這個位置上提取一個可區分的特征向量表示為人臉特征提取分支的損失函數L_id為：

聯合人臉檢測分支中熱圖頭損失函數、中心偏移頭損失函數、邊界框頭損失函數，以及人臉特征提取分支損失函數，根據不確定性損失來平衡檢測分支和特征提取分支的任務，檢測分支損失函數和公平網絡整體損失函數表示分別為(6)和(7)：

L_det＝L_heaf+L_center+L_box (6)

其中ω₁和ω₂表示為平衡檢測和特征提取任務的參數。