[發(fā)明專利]基于注意力機(jī)制的口罩人臉檢測識別與追蹤測溫方法

在審

• 申請?zhí)枺?/td>: 202011180939.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112507783A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 徐亮;朱會杰
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T7/20;G01K13/00;G01J5/00
• 代理公司: 上海旭誠知識產(chǎn)權(quán)代理有限公司 31220
• 代理人: 鄭立

1.一種基于注意力機(jī)制的口罩人臉檢測識別與追蹤測溫方法，其特征在于，包括以下步驟：

步驟1、訓(xùn)練人臉檢測神經(jīng)網(wǎng)絡(luò)；

步驟2、對圖像中的人臉進(jìn)行檢測分類，輸出分類后的人臉圖像；

步驟3、對所述分類后的人臉圖像進(jìn)行識別；

步驟4、對所述分類后的人臉圖像進(jìn)行目標(biāo)追蹤和測溫；

步驟5、把所述步驟3的識別結(jié)果和所述步驟4的測溫結(jié)果進(jìn)行匯總，并上傳云端進(jìn)行數(shù)據(jù)分析和預(yù)測。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟1中，包括：

步驟1.1、進(jìn)行數(shù)據(jù)采集，將采集的圖像標(biāo)注為4類：正確佩戴口罩、未正確佩戴口罩、未佩戴口罩、以及用手遮擋口鼻類；

步驟1.2、在采集過程中，獲取人臉關(guān)鍵點(diǎn)，用口罩及手部生成模擬數(shù)據(jù)來補(bǔ)充訓(xùn)練數(shù)據(jù)的不足；

步驟1.3、將采集的數(shù)據(jù)送入到所述人臉檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理。

3.如權(quán)利要求2所述的方法，其特征在于，所述步驟1.1中，數(shù)據(jù)采集包括現(xiàn)場采集照片、以及通過網(wǎng)絡(luò)爬蟲獲取照片。

4.如權(quán)利要求2所述的方法，其特征在于，所述步驟1.2中，采用Dlib獲取人臉關(guān)鍵點(diǎn)。

5.如權(quán)利要求1所述的方法，其特征在于，所述步驟2中，包括：

步驟2.1、攝像頭采集的圖像送入所述人臉檢測神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取；

步驟2.2、經(jīng)過一次二維卷積，批正則化及函數(shù)激活，形成特征圖；

步驟2.3、隨后依次進(jìn)行殘差塊堆疊，逐層提取特征圖；

步驟2.4、對所述步驟2.3形成的特征圖進(jìn)行三次卷積，分別進(jìn)行最大池化，將池化結(jié)果連接后再進(jìn)行三次卷積；

步驟2.5、進(jìn)行四分類，即正確佩戴口罩、未正確佩戴口罩、未佩戴口罩、以及用手遮擋口鼻類。

6.如權(quán)利要求5所述的方法，其特征在于，所述步驟2中，包括：

步驟2.6、對于未佩戴口罩、未正確佩戴口罩、用手遮擋口鼻的人進(jìn)行警告提醒，不允許通過；對于正確佩戴口罩的人臉進(jìn)入到下一步。

7.如權(quán)利要求5所述的方法，其特征在于，所述步驟2.2中，激活函數(shù)為Mish。

8.如權(quán)利要求1所述的方法，其特征在于，所述步驟3中，包括：

步驟3.1、當(dāng)接收到所述步驟2輸出的分類后的人臉圖像后，對接收到的人臉圖像做卷積，將其轉(zhuǎn)換成原特征圖，接著對所述原特征圖進(jìn)行以下操作：

步驟3.1.1、將特征圖按通道進(jìn)行全局最大池化和全局平均池化；

步驟3.1.2、將池化結(jié)果進(jìn)行連接；

步驟3.1.3、將連接后的結(jié)果通道進(jìn)行卷積降維到一維；

步驟3.1.4、降維后的結(jié)果經(jīng)過激活生成空間注意力特征圖并與所述原特征圖相乘，為所述原特征圖增加空間注意力；

步驟3.2、對所述步驟3.1.4中的注意力特征圖進(jìn)行inception結(jié)構(gòu)堆疊，生成特征向量，再對生成的特征向量進(jìn)行平均池化；

步驟3.3、通過全連接網(wǎng)絡(luò)輸出人臉特征向量編碼；

步驟3.4、進(jìn)行人臉對比，如果與人臉庫中的已有人臉特征向量歐氏距離小于閾值α則認(rèn)為是同一張人臉，否則認(rèn)為是不同人臉。

9.如權(quán)利要求1所述的方法，其特征在于，所述步驟4中，包括：

步驟4.1、將所述步驟2檢測到的人臉用M1表示，下一幀圖像整體用M2表示，用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行表觀特征抽取，獲得M1的特征圖和M2的特征圖；

步驟4.2、用所述M1的特征圖在所述M2的特征圖上進(jìn)行搜索，用度量函數(shù)進(jìn)行所述M1的特征圖和所述M2的特征圖的距離度量獲得分?jǐn)?shù)，分?jǐn)?shù)最高的位置認(rèn)為是當(dāng)前幀檢測到的人臉在下一幀所在位置；

步驟4.3、將位置信息傳遞給溫度追蹤云臺，所述云臺搭載視覺相機(jī)和溫度槍，所述云臺通過解算調(diào)整豎直旋轉(zhuǎn)所述視覺相機(jī)的轉(zhuǎn)角和水平電機(jī)的俯仰角來追蹤人臉?biāo)谖恢茫?dāng)追蹤穩(wěn)定后紅外測溫儀發(fā)射紅外線，對人臉進(jìn)行測溫。

10.如權(quán)利要求1所述的方法，其特征在于，所述步驟5中，包括：

步驟5.1、將識別到的人臉，所測量的體溫，測量時間，通過識別測溫相機(jī)的物聯(lián)網(wǎng)IOT芯片上傳入云端數(shù)據(jù)庫進(jìn)行保存；

步驟5.2、自動分析體溫變化，預(yù)測未來數(shù)天內(nèi)的體溫趨勢，對可能體溫超限的情況做出預(yù)警。