[發(fā)明專利]一種人臉檢測(cè)和對(duì)齊方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010424959.3
• 申請(qǐng)日: 2020-05-19
• 公開(kāi)（公告）號(hào): CN111738077A
• 公開(kāi)（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 張晉
• 申請(qǐng)（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 安琪

1.一種人臉檢測(cè)和對(duì)齊方法，其特征在于，包括：

獲取人臉數(shù)據(jù)集，其中，所述人臉數(shù)據(jù)集中包括多個(gè)帶有圖像標(biāo)簽信息的人臉圖像，所述圖像標(biāo)簽信息包括：標(biāo)注的第一人臉框分類信息、第一人臉框位置信息和第一人臉關(guān)鍵點(diǎn)坐標(biāo)信息；

將所述人臉數(shù)據(jù)集作為預(yù)設(shè)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入進(jìn)行模型訓(xùn)練，以輸出網(wǎng)絡(luò)預(yù)測(cè)的人臉標(biāo)簽信息，其中，所述人臉標(biāo)簽信息包括人臉圖像的第二人臉框位置信息、第二人臉框分類信息和第二人臉關(guān)鍵點(diǎn)坐標(biāo)信息；

根據(jù)所述圖像標(biāo)簽信息、人臉標(biāo)簽信息計(jì)算人臉框位置信息對(duì)應(yīng)的第一損失函數(shù)、人臉框分類信息對(duì)應(yīng)的第二損失函數(shù)和人臉關(guān)鍵點(diǎn)坐標(biāo)信息對(duì)應(yīng)的第三損失函數(shù)；

通過(guò)所述網(wǎng)絡(luò)模型的全連接層輸出所述第一損失函數(shù)對(duì)應(yīng)的第一權(quán)重因子、所述第二損失函數(shù)對(duì)應(yīng)的第二權(quán)重因子和所述第三損失函數(shù)對(duì)應(yīng)的第三權(quán)重因子；

根據(jù)每個(gè)損失函數(shù)及其對(duì)應(yīng)的權(quán)重因子確定總損失函數(shù)；

根據(jù)所述總損失函數(shù)反向傳播更新各個(gè)權(quán)重，以確定目標(biāo)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的人臉檢測(cè)和對(duì)齊方法，其特征在于，所述方法還包括：

獲取輸入的待處理人臉圖像；

將所述待處理人臉圖像作為所述目標(biāo)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入，以輸出對(duì)齊后的人臉圖像。

3.根據(jù)權(quán)利要求1所述的人臉檢測(cè)和對(duì)齊方法，其特征在于，所述總損失函數(shù)loss采用以下公式計(jì)算：

Loss＝1/(2*m1^2)*loss_loc+1/(m2^2)*loss_cls+1/(2*m3^2)*loss_landm+logm1+logm2+logm3

其中，m1表示所述第一權(quán)重因子，loss_loc表示所述第一損失函數(shù)，m2表示所述第二權(quán)重因子，loss_cls表示所述第二損失函數(shù)，m3表示所述第三權(quán)重因子，loss_landm表示所述第三損失函數(shù)，logm1+logm2+logm3表示懲罰項(xiàng)。

4.根據(jù)權(quán)利要求1所述的人臉檢測(cè)和對(duì)齊方法，其特征在于，將所述人臉數(shù)據(jù)集作為預(yù)設(shè)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入進(jìn)行模型訓(xùn)練，包括：

對(duì)所述人臉數(shù)據(jù)集中的每個(gè)人臉圖像進(jìn)行預(yù)處理操作，得到處理后的人臉圖像，其中，預(yù)處理操作包括以下至少一項(xiàng)：隨機(jī)剪裁操作、色彩增強(qiáng)操作、顏色抖動(dòng)操作和歸一化操作；

將處理后的人臉圖像作為預(yù)設(shè)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入進(jìn)行模型訓(xùn)練。

5.根據(jù)權(quán)利要求1所述的人臉檢測(cè)和對(duì)齊方法，其特征在于，所述預(yù)設(shè)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型以ResNet50為基本骨架，并具有圖像特征金字塔結(jié)構(gòu)。

6.一種人臉檢測(cè)和對(duì)齊裝置，其特征在于，包括：

第一獲取模塊，用于獲取人臉數(shù)據(jù)集，其中，所述人臉數(shù)據(jù)集中包括多個(gè)帶有圖像標(biāo)簽信息的人臉圖像，所述圖像標(biāo)簽信息包括：標(biāo)注的第一人臉框分類信息、第一人臉框位置信息和第一人臉關(guān)鍵點(diǎn)坐標(biāo)信息；

訓(xùn)練模塊，用于將所述人臉數(shù)據(jù)集作為預(yù)設(shè)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入進(jìn)行模型訓(xùn)練，以輸出網(wǎng)絡(luò)預(yù)測(cè)的人臉標(biāo)簽信息，其中，所述人臉標(biāo)簽信息包括人臉圖像的第二人臉框位置信息、第二人臉框分類信息和第二人臉關(guān)鍵點(diǎn)坐標(biāo)信息；

計(jì)算模塊，用于根據(jù)所述圖像標(biāo)簽信息、人臉標(biāo)簽信息計(jì)算人臉框位置信息對(duì)應(yīng)的第一損失函數(shù)、人臉框分類信息對(duì)應(yīng)的第二損失函數(shù)和人臉關(guān)鍵點(diǎn)坐標(biāo)信息對(duì)應(yīng)的第三損失函數(shù)；

第一輸出模塊，用于通過(guò)所述網(wǎng)絡(luò)模型的全連接層輸出所述第一損失函數(shù)對(duì)應(yīng)的第一權(quán)重因子、所述第二損失函數(shù)對(duì)應(yīng)的第二權(quán)重因子和所述第三損失函數(shù)對(duì)應(yīng)的第三權(quán)重因子；

第一確定模塊，用于根據(jù)每個(gè)損失函數(shù)及其對(duì)應(yīng)的權(quán)重因子確定總損失函數(shù)；

第二確定模塊，用于根據(jù)所述總損失函數(shù)反向傳播更新各個(gè)權(quán)重，以確定目標(biāo)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求6所述的人臉檢測(cè)和對(duì)齊裝置，其特征在于，所述裝置還包括：

第二獲取模塊，用于獲取輸入的待處理人臉圖像；

第二輸出模塊，用于將所述待處理人臉圖像作為所述目標(biāo)人臉檢測(cè)和對(duì)齊網(wǎng)絡(luò)模型的輸入，以輸出對(duì)齊后的人臉圖像。