[發明專利]戴口罩人臉識別方法、系統、計算機設備及存儲介質

在審

• 申請號: 202011491152.8
• 申請日: 2020-12-17
• 公開（公告）號: CN112597867A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 曾凡智;邱騰達;周燕
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李君;梁瑩

1.一種戴口罩人臉識別方法，其特征在于，所述方法包括：

獲取待識別的視頻流圖像；

加載人臉口罩檢測模型，通過人臉口罩檢測模型對待識別的視頻流圖像進行檢測，得到檢測結果；

若檢測結果為檢測到人臉佩戴口罩，加載人臉補全模型，通過人臉補全模型對檢測到人臉佩戴口罩的視頻流圖像進行補全，得到補全人臉圖像；

加載人臉識別模型，通過人臉識別模型對補全人臉圖像進行識別，得到人臉識別結果。

2.根據權利要求1所述的戴口罩人臉識別方法，其特征在于，所述人臉口罩檢測模型采用多級聯網絡，所述多級聯網絡包括第一級網絡、第二級網絡和第三級網絡；

所述第一級網絡包括依次連接的第一輸入層、第一隱藏層、第二隱藏層、第三隱藏層、第四隱藏層和第一輸出層；其中，所述第一隱藏層、第二隱藏層、第三隱藏層、第四隱藏層均包括全卷積層和激活函數層；

所述第二級網絡包括依次連接第二輸入層、第五隱藏層、第六隱藏層、第七隱藏層、第一全連接層和第二輸出層；其中，所述第五隱藏層和第六隱藏層均包括全卷積層、池化層和激活函數層，所述第七隱藏層包括全卷積層和激活函數層；

所述第三級網絡包括依次連接的第三輸入層、第六隱藏層、第七隱藏層、第八隱藏層、第九隱藏層、第二全連接層和第三輸出層；其中，所述第六隱藏層、第七隱藏層和第八隱藏層均包括全卷積層、池化層和激活函數層，所述第九隱藏層包括全卷積層和激活函數層。

3.根據權利要求2所述的戴口罩人臉識別方法，其特征在于，所述通過人臉口罩檢測模型對待識別的視頻流圖像進行檢測，具體包括：

將待識別的視頻流圖像輸入第一級網絡的輸入層，經過第一隱藏層、第二隱藏層、第三隱藏層和第四隱藏層進行特征提取，由第一輸出層輸出帶人臉分類框、人臉坐標回歸框、口罩分類框和口罩坐標回歸框的第一特征信息；

將第一特征信息輸入第二級網絡的輸入層，經過第五隱藏層、第六隱藏層、第七隱藏層和第一全連接層進行特征提取，由第二輸出層輸出置信度更高的第二特征信息；

將第二特征信息輸入第三級網絡的輸入層，經過第六隱藏層、第七隱藏層、第八隱藏層、第九隱藏層和第二全連接層進行特征提取，由第三輸出層輸出檢測結果。

4.根據權利要求1所述的戴口罩人臉識別方法，其特征在于，所述通過人臉補全模型對檢測到人臉佩戴口罩的視頻流圖像進行補全，具體包括：

將檢測到人臉佩戴口罩的視頻流圖像中的人臉口罩部分進行掩碼；

將掩碼后的圖像輸入人臉補全模型，對掩碼部分進行補全，得到補全人臉圖像。

5.根據權利要求1所述的戴口罩人臉識別方法，其特征在于，所述人臉補全模型包括生成網絡、全局鑒別器和局部鑒別器，所述生成網絡包括編碼器、解碼器和第三全連接層，所述編碼器通過第三全連接層與解碼器連接，所述解碼器分別與全局鑒別器、局部鑒別器連接；

所述人臉補全模型的構建過程如下：

在給定的原始人臉圖像上添加掩碼信息；

將添加掩碼信息的圖像作為生成網絡的輸入，由生成網絡根據掩碼信息生成人臉缺失部分，得到補全人臉圖像；

將補全人臉圖像和原始人臉圖像饋送到全局鑒別器，由全局鑒別器對補全人臉圖像和原始人臉圖像進行鑒定，得到第一鑒定分數；

將第一鑒定分數與第一設定閾值進行比較，若第一鑒定分數低于第一設定閾值，則將補全人臉圖像反饋給生成網絡，對生成網絡的訓練參數進行更新；

將人臉缺失部分和原始人臉圖像的掩碼部分饋送到局部鑒別器，由局部鑒別器對人臉缺失部分和原始人臉圖像的掩碼部分進行鑒定，得到第二鑒定分數；

將第二鑒定分數與第二設定閾值進行比較，若第二鑒定分數低于第二設定閾值，則將人臉缺失部分反饋給生成網絡，對生成網絡的訓練參數進行更新；

將全局鑒別器的最后一層特征和局部鑒別器的而最后一層特征進行連接，經過第四全連接層，使用sigmoid函數激活，返回真實分類信息。