[發明專利]基于多尺度的級聯稠密連接神經網絡的人臉檢測方法

有效

• 申請號: 201810605067.6
• 申請日: 2018-06-13
• 公開（公告）號: CN108875624B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 秦華標;黃波
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.基于多尺度的級聯稠密連接神經網絡的人臉檢測方法，其特征在于，該方法包括區域提名網絡的構建方法和多級稠密連接卷積網絡模型的構建方法：

區域提名網絡的構建方法為：在區域提名網絡的多個卷積層都進行可能包含人臉區域的得分預測和邊框的預測；然后淘汰得分小于設定閾值的區域塊，將剩下的區域塊進行非極大值抑制來得到最終的可能包含人臉的區域；最后將預測得到的人臉區域送進第二級的稠密連接卷積網絡；

多級稠密連接卷積網絡模型的構建方法為：利用卷積層不斷提取人臉更加抽象的特征，同時將低層卷積層提取到的特征與高層卷積層提取到的特征進行連接；然后在最后一層卷積層接入全局平均池化層，對前一層預測的人臉區域進行精細分類和邊框回歸；最后將剩下的人臉區域送進第三級稠密連接卷積網絡，進行更加精細的分類和邊框回歸，從而預測得到最終的人臉區域；

具體包括如下步驟：

步驟(1)、收集標注了人臉矩形框信息的人臉圖片，形成一個初始訓練數據集合D₁，利用D₁生成符合第一級網絡輸入格式的子訓練數據集D₂；

步驟(2)、設計一個能提取更多高質量候選區域的區域提名網絡模型，并利用子訓練數據集D₂訓練該區域提名網絡模型，然后將初始訓練數據集合D₁送入該區域提名網絡模型進行檢測，由檢測的結果生成下一級的訓練數據D₃；具體包括：利用區域提名網絡的不同卷積層提取更多高質量的包含人臉的候選區域，防止因提取的候選區域過少而造成的漏檢；采用在區域提名網絡的最后兩個卷積層分別接上分類層和回歸層，進行人臉區域得分的預測和邊框回歸；最后淘汰得分低于閾值T₁的候選框，將剩下的候選框進行非極大值抑制從而得到最終預測結果；然后用預處理后的數據集D₂訓練該區域提名網絡，在訓練完成之后將D₁輸入該區域提名網絡進行檢測，并把檢測結果中的人臉矩形框與D₁相對應圖片的真實人臉矩形框信息計算交并比，交并比0.85標記為人臉樣本，0.55交并比0.7的標記為部分人臉樣本，交并比0.35標記為非人臉樣本，生成下一級網絡的訓練數據集D₃，D₃的圖像分辨率為24×24；

步驟(3)、設計提取特征能力和泛化能力更強的級聯稠密連接網絡，將D₃送入稠密連接網絡的第一級進行訓練生成子網絡模型，然后將D₁送入區域提名網絡和第一級稠密連接網絡組成的網絡中進行檢測，由檢測的結果生成下一級稠密連接網絡的訓練數據集D₄，再利用D₄訓練第二級級聯稠密連接網絡；

步驟(4)、利用訓練得到的網絡模型，檢測待測試圖片中的多姿態人臉。

2.如權利要求1所述的基于多尺度的級聯稠密連接神經網絡的人臉檢測方法，其特征在于利用區域提名網絡的不同卷積層提取更多高質量的包含人臉的候選區域，防止因提取的候選區域過少的而造成的漏檢；采用在區域提名網絡的最后兩個卷積層分別接上分類層和回歸層，進行人臉區域得分的預測和邊框回歸；最后淘汰得分低于閾值T₁的候選框，將剩下的候選框進行非極大值抑制從而得到最終預測結果；T₁取值范圍為0～1。

3.如權利要求1所述的基于多尺度的級聯稠密連接神經網絡的人臉檢測方法，其特征在于引入全局平均池化層取代傳統的全連接層來進行人臉的分類和回歸；在每一級稠密連接網絡的最后一個卷積層后接入全局平均池化層，對前一層卷積網絡輸出的每一張特征圖求整體平均值，充分地學習人臉局部信息，避免因為引入空間結構信息而造成的過擬合；最后在平均池化層后接入softmax層來對前一級預測的人臉區域進行分類和回歸。