[發明專利]一種基于深度學習細粒度人臉圖像快速檢索方法

有效

• 申請號: 201710703271.7
• 申請日: 2017-08-16
• 公開（公告）號: CN107480261B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 劉威鑫;馬雷;張雪婷
• 申請（專利權）人: 上海荷福人工智能科技（集團）有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/00;G06K9/62;G06N3/08
• 代理公司: 成都華風專利事務所(普通合伙) 51223
• 代理人: 徐豐;張巨箭

1.一種基于深度學習細粒度人臉圖像快速檢索方法，其特征在于，包括如下內容：

構建深度卷積神經網絡模型，并在所述深度卷積神經網絡模型的各分支層添加用于計算損失函數的損失層；

對所述深度卷積神經網絡模型的參數進行初始化；

構建數據集，并按照預設比例，將所述數據集中的圖片隨機劃分成訓練集、測試集、驗證集；

設定深度卷積神經網絡模型的學習參數，具體包括設定深度卷積神經網絡模型中的各個損失層對應的權重，各分支層的學習率、動量以及權重衰減，一次輸入樣本的數量，網絡訓練的迭代次數；

對所述深度卷積神經網絡模型進行訓練，采用隨機梯度下降和反向傳播算法更新所述深度卷積神經網絡模型的參數；

對所述訓練后的深度卷積神經網絡模型進行測試，將測試集中的人臉圖片輸入所述訓練后的深度卷積神經網絡模型中，得到測試集的每張人臉圖像的哈希碼，將訓練集和驗證集中的人臉圖片整合為數據庫，并將所述數據庫中的人臉圖片輸入所述訓練后的深度卷積神經網絡模型中，得到數據庫中的每張人臉圖像的哈希碼，將測試集的每張人臉圖像的哈希碼與數據庫中的每張人臉圖像的哈希碼計算漢明距離，獲得漢明距離小于2的人臉圖片樣本構成的子數據庫，計算獲得測試集中的每張人臉圖像的哈希碼與所述子數據庫中的每張人臉圖像的哈希碼，獲得測試集中每張人臉圖像的哈希碼與所述子數據庫中的每張人臉圖像的哈希碼的加權漢明距離，根據所述加權漢明距離的值的大小，對所述子數據庫中的人臉圖片進行順次排序，最終得到人臉檢索結果；

所述構建深度卷積神經網絡模型，并在所述深度卷積神經網絡模型的各分支層添加用于計算損失函數的損失層，具體包括：

保留VGG模型從conv1層到fc7層的所有層結構；

去掉VGG模型的fc8層以及最后的損失層；

在所述fc7層后接一個全連接層fc8層，并在fc8層后面添加softmax損失層；

在所述fc7層后面接一個全連接層fc9層，并在fc9層后面加成對監督的哈希碼損失層；

在所述fc9層后連接一個逐類別逐比特的權重層，在所述逐類別逐比特的權重層后面添加三元的排序損失層。

2.根據權利要求1所述的基于深度學習細粒度人臉圖像快速檢索方法，其特征在于，所述softmax損失層的公式如下：

其中，n表示一次輸入樣本的數量，c表示人臉的類別數量，表示人臉i的標簽，如果i＝j，則為1，否則為0，為fc8層的輸出。

3.根據權利要求1所述的基于深度學習細粒度人臉圖像快速檢索方法，其特征在于，所述成對監督的哈希碼損失層的公式如下：

其中，S_ij為成對的監督矩陣，矩陣里的元素取值為0或1，S_ij＝1表示第i張人臉圖片與第j張人臉圖片相似，否則不相似，其中，u_i表示第i張人臉圖片經過fc9層的輸出，表示符號函數具體公式如下：

b_i為第i張人臉圖像的哈希碼，Θ_ij表示第i張人臉圖像與第j張人臉圖像的視覺相似程度。

4.根據權利要求1所述的基于深度學習細粒度人臉圖像快速檢索方法，其特征在于，所述逐類別逐比特的權重層L是一個大小為c×m的矩陣W，所述三元的排序損失層的具體公式如下：

其中，構成了一組三元圖片索引，為sigmoid函數，τ為一個超參數用來控制與之間的間隔，Φ_ij定義的形式為最小化J_R相當于最大化與的距離，即使得(i,i⁺)之間的相似性大于(i,i^-)之間的相似性。

5.根據權利要求1所述的基于深度學習細粒度人臉圖像快速檢索方法，其特征在于，在構建深度卷積神經網絡模型，并在所述深度卷積神經網絡模型的各分支層添加用于計算損失函數的損失層之后，還包括：

構建平衡各損失層的目標函數，并對所述目標函數進行松弛。