[發明專利]一種基于卷積神經網絡的人臉檢測方法及裝置

有效

• 申請號: 201611269956.7
• 申請日: 2016-12-30
• 公開（公告）號: CN106650699B
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 喬宇;張凱鵬;李志鋒
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 陽開亮

1.一種基于卷積神經網絡的人臉檢測方法，其特征在于，所述方法包括：

將卷積神經網絡劃分為三級卷積神經網絡，第一級網絡為全卷積神經網絡，第二級網絡和第三級網絡分別為雙流的內部級聯卷積神經網絡；

將預處理后的多張待檢測圖片輸入至所述第一級網絡，獲得包含初始人臉檢測框的圖片；

將所述包含初始人臉檢測框的圖片輸入至所述第二級網絡和第三級網絡，獲得包含人臉的圖片；

所述雙流的內部級聯卷積神經網絡分為人臉區域卷積神經網絡和身體區域卷積神經網絡，所述人臉區域卷積神經網絡和身體區域卷積神經網絡在最后的全連接層進行融合，所述人臉區域卷積神經網絡和身體區域的卷積神經網絡分別為內部級聯卷積神經網絡，所述內部級聯卷積神經網絡在池化層后連接早期拒絕分類器和數據路由層。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

訓練所述三級卷積神經網絡，以利用人體關節點位置,為人臉的檢測提供輔助信息。

3.根據權利要求2所述的方法，其特征在于，所述訓練所述三級卷積神經網絡包括：

在身體區域卷積神經網絡訓練過程中，對進入最后一層卷積層的身體區域圖像做反卷積操作生成人體關節點熱圖，學習得到與人體關節點熱圖對應的預測熱圖；

通過對生成的關節點熱圖和預測熱圖的殘差求導訓練所述身體區域卷積神經網絡。

4.根據權利要求1所述的方法，其特征在于，所述將所述包含初始人臉檢測框的圖片輸入至所述第二級網絡和第三級網絡，獲得包含人臉的圖片包括：

根據所述初始人臉檢測框的位置獲取對應的身體區域圖像；

將所述初始人臉檢測框中的圖像和對應的身體區域圖像輸入第二級雙流的內部級聯卷積神經網絡；

將傳輸到早期拒絕分類器的圖像分為人臉圖像和非人臉圖像，淘汰非人臉圖像并計算人臉圖像是人臉的概率；

所述人臉圖像傳輸至數據路由層，若人臉圖像是人臉的概率小于或者等于閾值，則淘汰人臉圖像是人臉的概率小于或者等于閾值的人臉圖像；

若人臉圖像是人臉的概率大于所述閾值，則將人臉圖像是人臉的概率大于所述閾值的人臉圖像繼續傳輸；

將最終傳輸到全連接層的人臉區域卷積神經網絡輸出的人臉圖像和身體區域卷積神經網絡輸出的人臉圖像融合并輸出帶人臉檢測框的圖片；

將第二級網絡輸出的人臉檢測框中的圖像和所述第二級網絡輸出的人臉檢測框的位置對應的身體區域圖像輸入第三級雙流的內部級聯卷積神經網絡，淘汰非人臉圖像，最終輸出帶人臉的圖片。

5.一種基于卷積神經網絡的人臉檢測裝置，其特征在于，所述裝置包括：

構建模塊，用于將卷積神經網絡劃分為三級卷積神經網絡，第一級網絡為全卷積神經網絡，第二級網絡和第三級網絡分別為雙流的內部級聯卷積神經網絡；

第一級檢測模塊，用于將預處理后的多張待檢測圖片輸入至所述第一級網絡，獲得包含初始人臉檢測框的圖片；

人臉輸出模塊，用于將所述包含初始人臉檢測框的圖片輸入至所述第二級網絡和第三級網絡，獲得包含人臉的圖片；

所述雙流的內部級聯卷積神經網絡分為人臉區域卷積神經網絡和身體區域卷積神經網絡，所述人臉區域卷積神經網絡和身體區域卷積神經網絡在最后的全連接層進行融合，所述人臉區域卷積神經網絡和身體區域的卷積神經網絡分別為內部級聯卷積神經網絡，所述內部級聯卷積神經網絡在池化層后連接早期拒絕分類器和數據路由層。

6.根據權利要求5所述的裝置，其特征在于，所述裝置還包括：

訓練模塊，用于訓練所述卷積神經網絡，以利用人體關節點位置，為人臉的檢測提供輔助信息。

7.根據權利要求6所述的裝置，其特征在于，所述訓練模塊具體用于：

在身體區域卷積神經網絡訓練過程中，對進入最后一層卷積層的身體區域圖像做反卷積操作生成人體關節點熱圖，學習得到與人體關節點熱圖對應的預測熱圖；

通過對生成的關節點熱圖和預測熱圖的殘差求導訓練所述身體區域卷積神經網絡。

8.根據權利要求7所述的裝置，其特征在于，所述人臉輸出模塊包括：

身體區域生成單元，用于根據所述初始人臉檢測框的位置生成對應的身體區域圖像；

輸入單元，用于將所述初始人臉檢測框中的圖像和對應的身體區域圖像輸入第二級雙流的內部級聯卷積神經網絡；

分類單元，用于將輸入的圖像分為人臉圖像和非人臉圖像，淘汰非人臉圖像并計算人臉圖像是人臉的概率；

處理單元，用于若人臉圖像是人臉的概率小于或者等于閾值，則淘汰人臉圖像是人臉的概率小于或者等于閾值的人臉圖像；

處理單元，還用于若人臉圖像是人臉的概率大于所述閾值，則將人臉圖像是人臉的概率大于所述閾值的人臉圖像繼續傳輸；

輸出單元，用于將最終傳輸到全連接層的人臉區域卷積神經網絡輸出的人臉圖像和身體區域卷積神經網絡輸出的人臉圖像融合并輸出帶人臉檢測框的圖片；

三級檢測單元，用于將第二級網絡輸出的人臉檢測框中的圖像和所述第二級網絡輸出的人臉檢測框的位置對應的身體區域圖像輸入第三級雙流的內部級聯卷積神經網絡，淘汰非人臉圖像，最終輸出帶人臉的圖片。