[發(fā)明專利]一種基于特征融合和視覺感受野網(wǎng)絡(luò)的多尺度人臉檢測方法

有效

• 申請?zhí)枺?/td>: 202010418338.4
• 申請日: 2020-05-18
• 公開（公告）號: CN111695430B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 劉欣剛;王文涵;鐘魯豪;李辰琦;汪衛(wèi)彬;朱超
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 鄒裕蓉

本發(fā)明提出一種基于特征融合和視覺感受野網(wǎng)絡(luò)的多尺度人臉檢測方法，以VGG?16為基礎(chǔ)網(wǎng)絡(luò)，由視覺感受野網(wǎng)絡(luò)、空洞卷積網(wǎng)絡(luò)共同組成本發(fā)明的網(wǎng)絡(luò)結(jié)構(gòu)，同時增加了網(wǎng)絡(luò)的寬度和深度。在不同的卷積層提取不同分辨率的特征，根據(jù)不同層的分辨率采用不同方法提取候選框。在較低層的特征上，采用隨機密集采樣獲取大量小尺度候選框，盡可能地匹配到更多真實樣本。又通過對不同層的特征進行融合，使得融合特征同時包含了高低層的信息。高層特征適用于大尺度人臉的檢測，低層特征適用于小尺度人臉的檢測。本發(fā)明對于多尺度人臉尤其是小尺度人臉具有較好的檢測效果。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉檢測技術(shù)，具體涉及一種基于特征融合和視覺感受野網(wǎng)絡(luò)的多尺度人臉檢測技術(shù)。

背景技術(shù)

人臉特征作為生物特征中的一種，相對于指紋、虹膜、語音等特征，更為直接方便，易于用戶接受，有著廣泛的應(yīng)用領(lǐng)域。人臉識別技術(shù)可以便捷、安全地識別身份。表情識別有助于研究人物情緒和心理狀態(tài)，被應(yīng)用于交通管理如疲勞駕駛領(lǐng)域。而人臉檢測作為人臉特征提取的第一步，直接關(guān)系到后續(xù)人臉處理技術(shù)的精度，具有重要的研究意義。

人臉檢測主要是從視頻或者圖像中標記出人臉的位置，涉及到分類和邊框回歸兩種技術(shù)?，F(xiàn)實情況下，由于拍攝環(huán)境的復(fù)雜性，使得人臉圖像中存在著多種尺度的人臉，又因為伴隨著遮擋、旋轉(zhuǎn)等一系列因素，多尺度尤其是小尺度人臉檢測存在著漏檢、精度低等各種問題。因此，如何處理多尺度問題，是人臉檢測技術(shù)的重要研究內(nèi)容。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，針對多尺度尤其是小尺度人臉檢測效果不佳的情況，提出了多尺度人臉檢測方法。

本發(fā)明為解決上述技術(shù)問題所采用的技術(shù)方案是，一種基于特征融合和視覺感受野網(wǎng)絡(luò)的多尺度人臉檢測方法，由訓(xùn)練步驟與測試步驟組成，其中訓(xùn)練步驟包括：

S1構(gòu)建檢測網(wǎng)絡(luò)結(jié)構(gòu)：檢測網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、候選框生成模塊以及輸出層；特征提取網(wǎng)絡(luò)以VGG-16為基礎(chǔ)網(wǎng)絡(luò)連接視覺感受野網(wǎng)絡(luò)；

S2特征提?。禾卣魈崛【W(wǎng)絡(luò)接收輸入有標簽的人臉圖像，在網(wǎng)絡(luò)的不同層提取特征，獲取多尺度的特征圖；

S3特征融合：特征融合網(wǎng)絡(luò)自上而下將來自特征提取網(wǎng)絡(luò)高層的特征上采樣后與低層特征結(jié)合形成融合特征輸出至候選框生成模塊；

S4生成候選框：候選框生成模塊根據(jù)不同層融合特征提取不同尺度候選框；針對低層融合特征圖，采用隨機密集采樣生成更多小尺度候選框，以匹配更多小尺度人臉樣本；

S5生成訓(xùn)練樣本：計算各候選框的交并比IoU，根據(jù)IoU值與預(yù)設(shè)值的比較將候選框分成人臉或非人臉樣本；

S6將人臉和非人臉樣本輸入至檢測網(wǎng)絡(luò)中進行訓(xùn)練，檢測網(wǎng)絡(luò)中輸出層輸出候選框位置與候選框的人臉/非人臉二分類結(jié)果并計算損失后反饋至檢測網(wǎng)絡(luò)直至完成訓(xùn)練。

本發(fā)明的有益效果是：以VGG-16為基礎(chǔ)網(wǎng)絡(luò)，由視覺感受野網(wǎng)絡(luò)、空洞卷積網(wǎng)絡(luò)共同組成本發(fā)明的網(wǎng)絡(luò)結(jié)構(gòu)，同時增加了網(wǎng)絡(luò)的寬度和深度。在不同的卷積層提取不同分辨率的特征，根據(jù)不同層的分辨率采用不同方法提取anchor。在較低層的特征上，采用隨機密集采樣獲取大量小尺度anchor，盡可能地匹配到更多真實樣本。又通過對不同層的特征進行融合，使得融合特征同時包含了高低層的信息。高層特征適用于大尺度人臉的檢測，低層特征適用于小尺度人臉的檢測。本發(fā)明對于多尺度人臉尤其是小尺度人臉具有較好的檢測效果。

附圖說明

圖1：本發(fā)明的總體框架和網(wǎng)絡(luò)結(jié)構(gòu)。

圖2：視覺感受野網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3：隨機密集采樣anchor示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合實施方式和附圖，對本發(fā)明做進一步地詳細描述。