[發明專利]一種基于深度學習的人員口罩佩戴狀態檢測識別方法

在審

• 申請號: 202110243176.X
• 申請日: 2021-03-05
• 公開（公告）號: CN113033328A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 吳寶昕
• 申請（專利權）人: 杭州追獵科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京恒泰銘睿知識產權代理有限公司 11642
• 代理人: 何平

1.一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述的基于深度學習的人員口罩佩戴狀態檢測識別方法，包括：

步驟1：數據集采集，采集不同場景下的人臉口罩佩戴數據，數據采集包括實際場景的圖片以及采用對抗生成算法生成的不同口罩佩戴方式的圖片數據；

步驟2：數據集標注；

數據集標注，對采集得到的數據集進行人工標注，標注出圖像中人臉的位置，并根據不同的口罩佩戴狀態標注為不同的類別標簽；

步驟3：設計深度學習網絡結構；

本發明構建的深度學習口罩佩戴狀態檢測識別網絡以業內檢測效果較好的YOLOv3為基礎，對網絡結果進行優化，包括：

去除特征融合部分的上采樣操作，增強佩戴口罩人臉小目標檢測的能力；

將網絡最后的三尺度特征輸出的設計修改為兩尺度輸出設計，只保留中等目標檢測輸出和小目標檢測輸出，在保持多尺度戴口罩人臉目標檢測的能力的同時，排除大尺度目標的干擾；

網絡添加N維的第一特征向量的輸出，其中維度N不小于128；

步驟4：對所述步驟3中設計的深度學習網絡進行訓練得到第一深度學習網絡模型，所述第一深度學習網絡模型網絡輸出包括佩戴口罩人臉位置、大小、置信度及N維第一特征向量；

步驟5：根據不同口罩佩戴狀態將佩戴口罩人臉圖片細分為不同預設類別標簽并以所述不同口罩佩戴狀態將佩戴口罩人臉圖片為輸入訓練得到第二深度學習網絡模型，所述第二深度學習網絡模型用于提取第二特征向量，所述第二特征向量用于表征融合不同圖片區域范圍和尺度的人臉區域的深層語義信息；

步驟6：將待檢測圖片輸入到所述訓練得到的第一深度學習網絡模型得到人臉位置、大小、置信度及N維第一特征向量；

具體地，在步驟4中的深度學習網絡訓練結束以后，加載訓練好的第一深度學習網絡模型，輸入待檢測圖片，網絡進行前向推理計算獲得口罩檢測圖片人臉位置、大小、置信度及N維第一特征向量；

步驟7：根據步驟6中得到的人臉位置、大小、置信度，判斷所述置信度是否大于預設閾值，若不大于，則將該置信度對應的人臉濾除；若大于，則根據所述人臉位置、大小從待檢測圖片中截取人臉區域，并以所述截取的人臉區域作為輸入，通過所述第二深度學習網絡模型提取第二特征向量；

步驟8：將所述第一特征向量以及所述第二特征向量進行特征融合得到第三特征向量，然后使用預設機器學習模型對所述第三特征向量進行識別得到人臉口罩佩戴狀態的識別結果，從而確定當前人臉口罩佩戴狀態。

2.如權利要求1所述的一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述步驟1中，采用實際場景收集數據和對抗生成算法自動生成的方式進行，所述對抗生成算法為預訓練好的算法，所述生成的圖片數據包括不同口罩佩戴狀態的人臉。

3.如權利要求1所述的一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述步驟3中，網絡添加N維的第一特征向量輸出，其中，維度N不小于128；其中，若骨干網絡的網絡層數量大于M，則從第M-1層輸出第一特征向量；若骨干網絡的網絡層數量不大于M，則從網絡輸出層輸出第一特征向量。

4.如權利要求1所述的一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述步驟5中所述第二深度學習網絡模型具有第一網絡部分，第二網絡部分和第三網絡部分，其中，第一網絡部分具有L網絡層數，第二網絡部分具有S網絡層數，第三網絡部分具有P網絡層數；其中，LSP。

5.如權利要求1所述的一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述步驟5中第二深度學習網絡模型將圖片原圖輸入第一網絡部分得到第一特征圖，從原圖隨機裁剪1/R大小的圖片輸入第二網絡部分得到第二特征圖，從原圖隨機裁剪1/4R大小的圖片輸入第三網絡部分得到第三特征圖，所述第一特征圖表征輸入圖片的全局特征，所述第二特征圖和第三特征圖分別表征輸入圖片的局部特征和細粒度局部特征。

6.如權利要求5所述的一種基于深度學習的人員口罩佩戴狀態檢測識別方法，其特征在于，所述裁剪比例參數R滿足：4≤R≤8。