[發(fā)明專利]基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法及檢測(cè)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010527024.8
• 申請(qǐng)日: 2020-06-10
• 公開（公告）號(hào): CN111680637A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 陳海波
• 申請(qǐng)（專利權(quán)）人: 深延科技（北京）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 劉松

1.一種基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，包括獲取人臉框的中心坐標(biāo)步驟、訓(xùn)練集劃分、訓(xùn)練集修正、訓(xùn)練步驟，其特征在于：

獲取人臉框的中心坐標(biāo)步驟，對(duì)預(yù)處理步驟得到的標(biāo)注信息，對(duì)標(biāo)注信息進(jìn)行轉(zhuǎn)化，得到人臉框的中心坐標(biāo)；采用anchor-free的網(wǎng)絡(luò)結(jié)構(gòu)定位人臉位置，包含三個(gè)head layer，分別預(yù)測(cè)人臉是否佩戴口罩、人臉框的長(zhǎng)寬、人臉框的偏移量；

訓(xùn)練集劃分步驟，獲取所述預(yù)處理步驟得到的所有圖像數(shù)據(jù)，隨機(jī)打亂數(shù)據(jù)集的順序，按照預(yù)設(shè)比例劃分所述預(yù)處理步驟得到的數(shù)據(jù)集，其中一部分為佩戴口罩檢測(cè)網(wǎng)絡(luò)的訓(xùn)練集，另外一部分為相應(yīng)的驗(yàn)證集，同時(shí)按照訓(xùn)練集和驗(yàn)證集中圖像的名字得到對(duì)應(yīng)的標(biāo)注信息列表；

訓(xùn)練集修正步驟，劃分得到的訓(xùn)練集中的圖像列表以及相應(yīng)的標(biāo)注信息文件列表，按照批次循環(huán)取出訓(xùn)練集中一個(gè)批次的數(shù)據(jù)輸入到佩戴口罩檢測(cè)網(wǎng)絡(luò)中，根據(jù)佩戴口罩檢測(cè)網(wǎng)絡(luò)得到的預(yù)測(cè)結(jié)果以及對(duì)應(yīng)的真實(shí)標(biāo)注信息計(jì)算佩戴口罩檢測(cè)網(wǎng)絡(luò)的損失值，通過反向傳播算法對(duì)佩戴口罩檢測(cè)網(wǎng)絡(luò)參數(shù)進(jìn)行修正；

訓(xùn)練步驟，重復(fù)佩戴口罩檢測(cè)網(wǎng)絡(luò)訓(xùn)練過程，不斷修正佩戴口罩檢測(cè)網(wǎng)絡(luò)的參數(shù)，直至口罩檢測(cè)網(wǎng)絡(luò)學(xué)會(huì)找出圖像中的人臉位置并能夠正確的判斷檢測(cè)出來的人臉是否佩戴口罩，保存訓(xùn)練得到的參數(shù)。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：還包括數(shù)據(jù)采集步驟，采集圖像及視頻數(shù)據(jù)，視頻數(shù)據(jù)按照間隔進(jìn)行抽幀操作。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：還包括數(shù)據(jù)預(yù)處理步驟，包括數(shù)據(jù)清洗、去重以及標(biāo)注，標(biāo)注出人臉位置以及人臉是否戴口罩，人臉位置信息為人臉在圖像中位置框的左上角坐標(biāo)、人臉框的長(zhǎng)和寬。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：獲取人臉框的中心坐標(biāo)步驟，對(duì)預(yù)處理步驟得到的標(biāo)注信息，對(duì)標(biāo)注信息進(jìn)行轉(zhuǎn)化，得到人臉框的中心坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：還包括輸出步驟，根據(jù)訓(xùn)練得到的佩戴口罩檢測(cè)網(wǎng)絡(luò)參數(shù)，按批次提取驗(yàn)證集中的圖像數(shù)據(jù)，輸入到訓(xùn)練得到的佩戴口罩檢測(cè)網(wǎng)絡(luò)中得到圖像中人臉的具體位置以及相應(yīng)的是否佩戴口罩類別信息和置信度值。

6.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：數(shù)據(jù)預(yù)處理步驟，所述數(shù)據(jù)集中人臉目標(biāo)佩戴口罩和未佩戴口罩?jǐn)?shù)量均衡；是否戴口罩用0和1表示，標(biāo)注信息保存。

7.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于數(shù)據(jù)預(yù)處理步驟還包括：

去重步驟，首先計(jì)算圖像的md5值，根據(jù)計(jì)算得到的md5值去掉采集步驟搜集到的圖像數(shù)據(jù)中相似度高的圖像；

清洗步驟，手動(dòng)清洗采集步驟搜集到的數(shù)據(jù)集，經(jīng)過去重后的數(shù)據(jù)集，刪除無法分辨出人臉的圖像；

標(biāo)注步驟，對(duì)清洗后的數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注出人臉的位置框以及相應(yīng)是否戴口罩的類別信息；

均衡步驟，對(duì)標(biāo)注后的數(shù)據(jù)集，根據(jù)標(biāo)注信息分別統(tǒng)計(jì)是否佩戴口罩兩類的樣本數(shù)；若未戴口罩?jǐn)?shù)量多，則進(jìn)一步搜索戴口罩的數(shù)據(jù)，并重復(fù)去重、清洗、標(biāo)注步驟，使兩類樣本數(shù)量滿足近似1：1；若未戴口罩?jǐn)?shù)量少，則搜集未戴口罩人臉數(shù)據(jù)或隨機(jī)選取公開人臉檢測(cè)數(shù)據(jù)集中的數(shù)據(jù)，并重復(fù)去重、清洗、標(biāo)注步驟使兩類樣本數(shù)盡量滿足近似1：1。

8.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和圖像識(shí)別技術(shù)的口罩檢測(cè)方法，其特征在于：采用anchor-free的網(wǎng)絡(luò)結(jié)構(gòu)定位人臉位置；根據(jù)預(yù)測(cè)人臉類別的熱力圖來確定當(dāng)前位置是否包含目標(biāo)；若熱力圖的值大于事先設(shè)定的閾值且該點(diǎn)周圍的值均小于該點(diǎn)數(shù)值，表示該位置有目標(biāo)，同時(shí)根據(jù)預(yù)測(cè)的偏移量和目標(biāo)框的長(zhǎng)寬得到原圖上目標(biāo)框的位置和長(zhǎng)寬；通過上述三個(gè)head layer輸出，以及原始標(biāo)注信息，對(duì)口罩檢測(cè)網(wǎng)絡(luò)進(jìn)行修正。

9.一種檢測(cè)系統(tǒng)，其特征在于包括：人臉數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、佩戴口罩檢測(cè)模塊、數(shù)據(jù)存儲(chǔ)模塊；

數(shù)據(jù)采集模塊搜集包含人臉的圖像數(shù)據(jù)，包括圖片和視頻數(shù)據(jù)，對(duì)于視頻數(shù)據(jù)，間隔一定的幀數(shù)提取視頻中的一幀，圖像中的人臉需要包含佩戴口罩和未佩戴口罩兩種；

數(shù)據(jù)預(yù)處理模塊對(duì)所述人臉數(shù)據(jù)采集模塊采集到的數(shù)據(jù)集進(jìn)行預(yù)處理，包括視頻數(shù)據(jù)的抽幀、清洗、去重、標(biāo)注；

佩戴口罩檢測(cè)模塊檢測(cè)所述數(shù)據(jù)預(yù)處理模塊得到的數(shù)據(jù)，獲取圖像數(shù)據(jù)中人臉的具體位置、人臉類別屬性信息和置信度值；數(shù)據(jù)存儲(chǔ)模塊存儲(chǔ)所述佩戴口罩檢測(cè)模塊得到的人臉位置信息、人臉類別屬性信息和置信度值；使用權(quán)利要求1-8任一所述的口罩檢測(cè)方法。