[發明專利]一種基于加權雙流殘差網絡的口罩人臉姿態分類方法

在審

• 申請號: 202110053899.3
• 申請日: 2021-01-15
• 公開（公告）號: CN112800882A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 陳森楸;劉文波;張弓
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 曹蕓

1.一種基于加權雙流殘差網絡的口罩人臉姿態分類方法，其特征在于,包括具體步驟如下：

步驟1：采集、構建口罩人臉姿態數據集，并制作半仿真口罩人臉姿態數據集進行數據擴充；

步驟2：將口罩人臉姿態數據集劃分為訓練樣本部分和測試樣本部分；

步驟3：將口罩人臉姿態圖像劃分出口罩未遮擋部分，將口罩未遮擋部分圖像和口罩人臉姿態圖像統一調整尺寸為128×128；

步驟4：構建加權雙流殘差網絡模型，該模型由雙路殘差卷積神經網絡并行組成，所述網絡模型包括2個前置卷積層和8個殘差卷積單元，1個改進CAM模塊、1個自適應均值池化層及1個全連接層；

步驟5：將步驟4中構建的加權雙流殘差網絡模型在步驟2中的口罩人臉姿態數據集的訓練樣本部分進行訓練，得到訓練后的模型；

步驟6：將步驟2中的口罩人臉姿態數據集的測試樣本部分輸入步驟5訓練后的模型，得到各個人臉姿態類別的輸出概率，實現口罩人臉姿態估計。

2.根據權利要求1所述的一種基于加權雙流殘差網絡的口罩人臉姿態分類方法，其特征在于：所述步驟1中的口罩人臉姿態數據集共有Yaw方向上-67°、-45°、-22°、0°、+22°、+45°、+67°七個姿態類別。

3.根據權利要求1所述的一種基于加權雙流殘差網絡的口罩人臉姿態分類方法，其特征在于：所述步驟2中所述訓練樣本部分為70％的實際采集數據和制作的半仿真口罩人臉姿態數據，所述的測試樣本部分為剩余30％的實際采集數據。

4.根據權利要求1所述的一種基于加權雙流殘差網絡的口罩人臉姿態分類方法，其特征在于：步驟4中的所述改進CAM模塊將輸入的通道特征圖分別進行全局均值池化、全局隨機值池化和全局最大值池化，從而擠壓得到三個特征描述符，接著把三個特征描述符送入由兩層全連接層構成的共享網絡中進行計算，共享網絡輸出權重向量，然后將權重向量經過sigmoid函數激活得到每個特征通道的權重，最后將權重賦予對應通道的特征圖，公式如下：

s_c＝σ(W₂ReLU(W₁Maxpool(F))+W₂ReLU(W₁Avgpool(F))+W₂ReLU(W₁Stochasticpool(F)))

＝σ(W₂ReLU(W₁z₁)+W₂ReLU(W₁z₂)+W₂ReLU(W₁z₃)) (1)

其中，C為通道數，r為共享網絡的縮放系數，取16，σ為sigmoid激活函數，F為輸入的特征圖，ReLU(·)為激活函數，Avgpool(·)為全局均值池化，Maxpool(·)為全局最大值池化，Stochasticpool(·)為全局隨機值值池化，z₁表示全局最大值池化后的特征描述符，z₂表示全局均值池化后的特征描述符，z₃表示全局隨機值池化后的特征描述符，s_c為每個特征通道的權重。

5.根據權利要求1所述的一種基于加權雙流殘差網絡的口罩人臉姿態分類方法，其特征在于：步驟4中所述加權雙流殘差網絡模型由雙路殘差卷積神經網絡并行而成，其中一路網絡包含1個前置卷積層和4個殘差卷積單元，單個殘差卷積單元的中間層由兩層卷積層組成，卷積核尺寸為3×3，4個殘差卷積單元的輸出通道數分別為64、128、256、512，殘差卷積單元的公式如下：

其中，x為輸入的特征圖，Conv(·)為殘差卷積單元的中間卷積層，H₁和H₂分別為殘差卷積單元中間層的第一級和第二級卷積映射關系，H_s為保持與殘差卷積單元短接后輸出維度一致的線性映射關系，σ為sigmoid激活函數；y為經過殘差卷積單元后的輸出；

另外一路網絡具有相同的結構，但殘差卷積模塊中的卷積方式為空洞卷積；兩路得到的輸出特征圖沿通道維度拼接，并采用改進CAM模塊來對每個通道的特征圖進行自適應加權。