[發明專利]口罩佩戴識別方法

有效

• 申請號: 202010906573.6
• 申請日: 2020-09-01
• 公開（公告）號: CN112115818B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張立國;孫勝春;金梅;張少闊;張子豪;張勇;劉博;郎夢園
• 申請（專利權）人: 燕山大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京孚睿灣知識產權代理事務所(普通合伙) 11474
• 代理人: 孫建

1.一種口罩佩戴識別方法，其特征在于，該方法包括以下步驟：

S1、進行人臉檢測模型訓練，包括如下步驟：

S11、使用成像光譜儀采集1000張樣本人臉圖片，對樣本數據進行采集和擴充，得到5000張樣本人臉圖片，使訓練出的人臉檢測模型具有高的魯棒性；

S12、使用圖像標注軟件對樣本圖片中的人臉進行標注，框選出圖中的人臉并標記出人臉中的關鍵點，標記的5個人臉關鍵點分別為左右眼、鼻子和左右嘴角；

S13、搭建基于多任務卷積神經網絡MTCNN的人臉檢測模型，進行人臉檢測模型的訓練，通過訓練網絡輸出網絡模型，用訓練好的模型預測圖像中是否存在人臉以及人臉、關鍵點的坐標位置；

多任務卷積神經網絡損失函數包括人臉分類邊界框回歸和關鍵點定位三部分，具體包括：

其中，xi為輸入樣本，p_i為樣本是人臉的概率，表示真實邊界框標簽；

其中，表示網絡預測的回歸目標，表示真實框坐標；

其中，表示網絡預測的第i個面部關鍵點的坐標，表示第i個面部關鍵點的真實坐標；

整體損失函數如下：

其中，N為訓練樣本的數量，α_j表示任務的重要性，在建議網絡P-Net和精修網絡R-Net中，α_det＝1、α_box＝0.5、α_landmark＝0.5；在輸出網絡O-Net中，α_det＝1、α_box＝0.5、α_landmark＝1，β_i^j為樣本標簽，L_i^j表示上面的分類、回歸或者定位的損失函數；

S2、進行口罩佩戴識別模型訓練，包括如下步驟：

針對口罩佩戴識別問題，訓練支持向量機分類器，用以對人臉檢測模型得出的人臉圖像進行光譜分類，以實現口罩識別；

S21、訓練集、測試集的構建：首先通過圖像軟件在人臉光譜圖像上進行樣本感興趣區域的標記，感興趣區域的類型選擇為點，分別用不同顏色標定各樣本，每類樣本選擇1000個點，標記完所有樣本后計算標記樣本的可分離度，符合條件后保存樣本感興趣區域文件，通過其獲取樣本感興趣區域的坐標信息和標簽信息，將感興趣區域的坐標信息轉化為對應位置點的波段信息，構建訓練集和測試集；

S22、確定初始化參數，完成訓練：支持向量機核函數選擇多項式核函數，其定義如下：

K(x,y)＝(gamma*x*y+coef0)^degree (5)

其中，x，y表示原始樣本，多項式核函數中的gamma初始化為0.33，多項式核函數中的coef0初始化為1，多項式核函數的次數degree初始化為6，通過訓練得到模型參數；

S23、通過支持向量機分類器實現口罩佩戴識別：通過訓練好的支持向量機分類器對待分類圖像進行分類時先將單個波段的圖像拉伸為一個列向量，將預測圖像轉化為2維矩陣進行預測，再將得到的預測結果對應到相應位置，進行可視化顯示。

2.根據權利要求1所述的口罩佩戴識別方法，其特征在于，所述S13中，人臉檢測模型的訓練過程為：

S131、將圖像進行不同尺度的變換，構建圖像金字塔，以適應不同大小人臉的檢測；

S132、使用建議網絡P-Net網絡對圖像金字塔進行特征提取和邊框標定，使用較淺層簡單的卷積神經網絡快速生成人臉候選窗口，供精修網絡R-Net進一步處理；

S133、精修網絡R-Net對生成的候選框進行細化選擇，過濾掉大部分錯誤輸入并再次進行邊界框回歸和關鍵點定位，進一步優化過濾候選區域；

S134、輸出網絡O-Net通過較精修網絡R-Net多出的一層卷積結構識別面部區域并回歸面部的5個特征點。

3.根據權利要求1所述的口罩佩戴識別方法，其特征在于，所述S12中，標注完所有圖片后，輸出xml文件，保存標注信息，并將xml文件轉換成txt文件，其中負樣本、正樣本、部分樣本和關鍵點樣本的比例為3:1:1:2，標簽分別為0、1、2、3。