[發(fā)明專利]一種基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710703271.7
• 申請(qǐng)日: 2017-08-16
• 公開（公告）號(hào): CN107480261B
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 劉威鑫;馬雷;張雪婷
• 申請(qǐng)（專利權(quán)）人: 上海荷福人工智能科技（集團(tuán)）有限公司
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06K9/00;G06K9/62;G06N3/08
• 代理公司: 成都華風(fēng)專利事務(wù)所(普通合伙) 51223
• 代理人: 徐豐;張巨箭

1.一種基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法，其特征在于，包括如下內(nèi)容：

構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，并在所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的各分支層添加用于計(jì)算損失函數(shù)的損失層；

對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行初始化；

構(gòu)建數(shù)據(jù)集，并按照預(yù)設(shè)比例，將所述數(shù)據(jù)集中的圖片隨機(jī)劃分成訓(xùn)練集、測(cè)試集、驗(yàn)證集；

設(shè)定深度卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)參數(shù)，具體包括設(shè)定深度卷積神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)損失層對(duì)應(yīng)的權(quán)重，各分支層的學(xué)習(xí)率、動(dòng)量以及權(quán)重衰減，一次輸入樣本的數(shù)量，網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)；

對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，采用隨機(jī)梯度下降和反向傳播算法更新所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；

對(duì)所述訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試，將測(cè)試集中的人臉圖片輸入所述訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型中，得到測(cè)試集的每張人臉圖像的哈希碼，將訓(xùn)練集和驗(yàn)證集中的人臉圖片整合為數(shù)據(jù)庫(kù)，并將所述數(shù)據(jù)庫(kù)中的人臉圖片輸入所述訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型中，得到數(shù)據(jù)庫(kù)中的每張人臉圖像的哈希碼，將測(cè)試集的每張人臉圖像的哈希碼與數(shù)據(jù)庫(kù)中的每張人臉圖像的哈希碼計(jì)算漢明距離，獲得漢明距離小于2的人臉圖片樣本構(gòu)成的子數(shù)據(jù)庫(kù)，計(jì)算獲得測(cè)試集中的每張人臉圖像的哈希碼與所述子數(shù)據(jù)庫(kù)中的每張人臉圖像的哈希碼，獲得測(cè)試集中每張人臉圖像的哈希碼與所述子數(shù)據(jù)庫(kù)中的每張人臉圖像的哈希碼的加權(quán)漢明距離，根據(jù)所述加權(quán)漢明距離的值的大小，對(duì)所述子數(shù)據(jù)庫(kù)中的人臉圖片進(jìn)行順次排序，最終得到人臉檢索結(jié)果；

所述構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，并在所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的各分支層添加用于計(jì)算損失函數(shù)的損失層，具體包括：

保留VGG模型從conv1層到fc7層的所有層結(jié)構(gòu)；

去掉VGG模型的fc8層以及最后的損失層；

在所述fc7層后接一個(gè)全連接層fc8層，并在fc8層后面添加softmax損失層；

在所述fc7層后面接一個(gè)全連接層fc9層，并在fc9層后面加成對(duì)監(jiān)督的哈希碼損失層；

在所述fc9層后連接一個(gè)逐類別逐比特的權(quán)重層，在所述逐類別逐比特的權(quán)重層后面添加三元的排序損失層。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法，其特征在于，所述softmax損失層的公式如下：

其中，n表示一次輸入樣本的數(shù)量，c表示人臉的類別數(shù)量，表示人臉i的標(biāo)簽，如果i＝j(luò)，則為1，否則為0，為fc8層的輸出。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法，其特征在于，所述成對(duì)監(jiān)督的哈希碼損失層的公式如下：

其中，S_ij為成對(duì)的監(jiān)督矩陣，矩陣?yán)锏脑厝≈禐?或1，S_ij＝1表示第i張人臉圖片與第j張人臉圖片相似，否則不相似，其中，u_i表示第i張人臉圖片經(jīng)過fc9層的輸出，表示符號(hào)函數(shù)具體公式如下：

b_i為第i張人臉圖像的哈希碼，Θ_ij表示第i張人臉圖像與第j張人臉圖像的視覺相似程度。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法，其特征在于，所述逐類別逐比特的權(quán)重層L是一個(gè)大小為c×m的矩陣W，所述三元的排序損失層的具體公式如下：

其中，構(gòu)成了一組三元圖片索引，為sigmoid函數(shù)，τ為一個(gè)超參數(shù)用來控制與之間的間隔，Φ_ij定義的形式為最小化J_R相當(dāng)于最大化與的距離，即使得(i,i⁺)之間的相似性大于(i,i^-)之間的相似性。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)細(xì)粒度人臉圖像快速檢索方法，其特征在于，在構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，并在所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的各分支層添加用于計(jì)算損失函數(shù)的損失層之后，還包括：

構(gòu)建平衡各損失層的目標(biāo)函數(shù)，并對(duì)所述目標(biāo)函數(shù)進(jìn)行松弛。