[發明專利]一種基于yolo的人臉檢測與人臉對齊方法

有效

• 申請號: 201710703277.4
• 申請日: 2017-08-16
• 公開（公告）號: CN107358223B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 王兵;楊燕平;劉威鑫
• 申請（專利權）人: 上海荷福人工智能科技（集團）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 成都華風專利事務所(普通合伙) 51223
• 代理人: 徐豐;張巨箭

本發明公開了一種基于yolo的人臉檢測與人臉對齊方法，屬于人臉識別領域，包括網絡的訓練及網絡的驗證步驟，所述網絡的訓練包括創建人臉數據集，對人臉數據集中的圖像進行標注、重構人臉檢測與對齊數據庫，本發明解決了MTCNN人臉識別采用分階段的方式進行人臉檢測與對齊存在的效率慢、不能進行聯合任務的問題，提高了人臉識別的魯棒性和網絡的泛化能力，且防止了樣本過少導致的過擬合問題。

技術領域

本發明屬于人臉識別領域，具體設計一種基于yolo的人臉檢測與人臉對齊方法。

背景技術

人臉識別技術是基于人的臉部特征，對輸入的人臉圖像或者視頻流進行判斷。首先判斷是否存在人臉，如果存在，則進一步給出人臉所在的位置、大小。并根據這些信息進一步提取出人臉的特征信息，最后將其與已知的人臉對比，從而識別每個人臉的身份，總體來說，人臉的識別分為兩大步驟，一是人臉的檢測，二是人臉的對齊，人臉檢測方面，目前人臉檢測采用邊框檢測的方式，即利用網絡學習將圖像劃分為若干邊框，從若干邊框中捕捉人臉，并提取出人臉的關鍵點信心，人臉的對齊則是將圖像中的人臉與已知的人臉進行比對從而達到識別的目的。

如MTCNN(Multi-task Cascaded Convolutional Neural Networks)，MTCNN人臉識別的主要方法是：

當給定一張照片的時候，將其縮放到不同尺度形成圖像金字塔，以達到尺度不變。

步驟1：使用P-Net生成候選窗和邊框回歸向量(bounding box regressionvectors)。使用Bounding box regression的方法來校正這些候選窗，使用非極大值抑制(NMS)合并重疊的候選框。全卷積網絡和FasterR-CNN中的RPN一脈相承；

步驟2：使用N-Net改善候選窗，將通過P-Net的候選窗輸入R-Net中，拒絕掉大部分false的窗口，繼續使用Bounding box regression和NMS合并；

步驟3：最后使用O-Net輸出最終的人臉框和特征點位置。和第二步類似，但是不同的是生成5個特征點位置。

可以看出，MTCNN是使用分階段的方式實現人臉檢測及人臉對齊任務，即每一個階段由一個網絡組成，使用中需要對這些網絡進行分階段的訓練，這樣的識別方式顯然不是一種端對端的學習方式，人臉識別效率慢。且網絡泛化能力弱、魯棒性差。

發明內容

本發明為了解決上述技術問題，提供了一種基于yolo的人臉檢測與人臉對齊方法，以解決MTCNN人臉識別采用分階段的方式進行人臉檢測與對齊效率慢、不能進行聯合任務的問題。

為達到上述技術目的，本發明采用的技術方案為：一種基于yolo的人臉檢測與人臉對齊方法，包括以下步驟：

S1、進行網絡的訓練，具體包括如下步驟：

S1-1、創建人臉數據集，在LFW數據庫上隨機挑選具有光照變化、尺度變化和場景變化的人臉圖像，并將這些人臉圖像劃分為訓練集、測試集及驗證集；所述訓練集用來建立預訓練模型，所述測試集用來測試所述預訓練模型的泛化能力，所述驗證集網用于控制所述預訓練模型的參數；

S1-2、對訓練集、測試集和驗證集中的圖像進行標注，即收集圖像上人臉在圖像上的坐標信息(x，y，w，h)以及人臉關鍵點的坐標信息(xi，yi)；

S1-3、重構人臉檢測與對齊數據庫，構建ImageNet及yolo檢測框架的聯合數據庫以對訓練集進行分類學習進而創建預訓練模型，所述ImageNe創建預訓練模型中的人臉檢測模型，所述yolo檢測框架創建預訓練模型中的人臉對齊模型，并通過損失函數提高所述人臉對齊模型的魯棒性；

S2、進行網絡驗證，使用驗證集控制預訓練模型的參數；