[發(fā)明專(zhuān)利]卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、人臉識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110717278.0
• 申請(qǐng)日: 2021-06-28
• 公開(kāi)（公告）號(hào): CN113449848A
• 公開(kāi)（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 任雁飛;李文利;李華;杜青
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08;G06K9/00
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 孫乳筍;劉熔

本發(fā)明提供涉及一種卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、人臉識(shí)別方法及裝置，涉及人臉識(shí)別技術(shù)以及金融領(lǐng)域。所述卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括：將樣本圖片輸入待訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以得到所述待訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)輸出的所述樣本圖片的特征向量以及所述特征向量的第一特征分布；通過(guò)基于余弦距離的損失函數(shù)與具有第一約束條件和第二約束條件的雙環(huán)損失函數(shù)組成的聯(lián)合損失函數(shù)對(duì)所述特征向量進(jìn)行約束，得到所述特征向量的第二特征分布；根據(jù)所述第一特征分布與所述第二特征分布的誤差對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。本申請(qǐng)通過(guò)應(yīng)用雙環(huán)損失函數(shù)，對(duì)特征分布圖分類(lèi)中心附近的特征向量施加離心力，將其推離分類(lèi)中心附近，以此增強(qiáng)判別能力。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人臉識(shí)別技術(shù)以及金融領(lǐng)域，特別涉及一種卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、人臉識(shí)別方法及裝置。

背景技術(shù)

在計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)高速發(fā)展的現(xiàn)代社會(huì)中，信息安全顯示出前所未有的重要性。人臉識(shí)別這一生物識(shí)別技術(shù)具有用戶(hù)友好的特點(diǎn)，被廣泛用作系統(tǒng)入口登陸以及個(gè)人信息驗(yàn)證核實(shí)，保障系統(tǒng)內(nèi)個(gè)人信息安全和財(cái)產(chǎn)安全。隨著人臉識(shí)別登陸的廣泛使用，其支撐實(shí)現(xiàn)對(duì)客業(yè)務(wù)場(chǎng)景和對(duì)內(nèi)管理場(chǎng)景，包括但不限于客戶(hù)在銀行辦理開(kāi)卡、理財(cái)、賬戶(hù)管理等業(yè)務(wù)的身份確認(rèn)，如何更精準(zhǔn)安全地為客戶(hù)提供人臉識(shí)別登陸及驗(yàn)證服務(wù)，保護(hù)客戶(hù)的個(gè)人信息及財(cái)產(chǎn)安全需要深入研究。

而在訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)任務(wù)中應(yīng)用最為廣泛的為損失函數(shù)Softmax，它致力于通過(guò)以下公式最大化后驗(yàn)概率：

其中N和n分別是批次大小和樣本類(lèi)別總數(shù)。是第i個(gè)特征向量，對(duì)應(yīng)的標(biāo)簽為y_i，D的大小取決于網(wǎng)絡(luò)體系結(jié)構(gòu)的設(shè)計(jì)，和b分別表示網(wǎng)絡(luò)分類(lèi)層的權(quán)重和偏置項(xiàng)。

還有通過(guò)改善Softmax損失函數(shù)后得到的基于余弦距離的損失函數(shù)：

在傳統(tǒng)的Softmax損失函數(shù)中：

在基于Softmax損失函數(shù)的變式中被重新定義為：

其中，s表示比例因子，表示變量為角度θ的單調(diào)函數(shù)，m用于在角度空間或者余弦空間中激勵(lì)額外的類(lèi)間距離。

雖然Softmax損失函數(shù)被廣泛使用，但它也存在一些缺點(diǎn)需要改善。例如，它沒(méi)有考慮優(yōu)化特征表示以使得類(lèi)內(nèi)特征相似度更高，而類(lèi)間特征相似度更低。

圖1A至圖1F分別為MNIST手寫(xiě)體數(shù)據(jù)集分別在Softmax Loss、Coco Loss、L-Softmax Loss、LMCL、Center Loss以及Ring Loss這六種損失函數(shù)指導(dǎo)下特征分布映射到二維空間的特征分布圖。由圖1A至圖1F可知，Coco Loss、L-Softmax Loss以及LMCL相比于傳統(tǒng)的Softmax損失函數(shù)而言，能夠引導(dǎo)特征分布增加類(lèi)間距離，減小類(lèi)內(nèi)差距，在圖上呈現(xiàn)出每個(gè)類(lèi)別代表的顏色更細(xì)，不同顏色之間的距離更遠(yuǎn)；Center Loss呈現(xiàn)每個(gè)類(lèi)別聚集在對(duì)應(yīng)的中心附近，而Ring Loss則呈現(xiàn)所有的特征聚集在單位圓上的狀態(tài)。

由此可知，現(xiàn)有的損失函數(shù)存在以下問(wèn)題：輻射狀分布特征中存在的中心附近的特征向量容易混淆易致使分類(lèi)錯(cuò)誤；距離中心過(guò)遠(yuǎn)的特征向量約束力度魯棒性不強(qiáng)。

發(fā)明內(nèi)容

本申請(qǐng)涉及人臉識(shí)別技術(shù)以及金融領(lǐng)域，特別涉及一種卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：

將樣本圖片輸入待訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以得到所述待訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)輸出的所述樣本圖片的特征向量以及所述特征向量的第一特征分布；

通過(guò)基于余弦距離的損失函數(shù)與具有第一約束條件和第二約束條件的雙環(huán)損失函數(shù)組成的聯(lián)合損失函數(shù)對(duì)所述特征向量進(jìn)行約束，得到所述特征向量的第二特征分布；所述第一約束條件與所述第二約束條件用于改變所述特征向量距離分類(lèi)中心的位置；