[發明專利]一種基于深度協同哈希的圖片標注方法

有效

• 申請號: 201810429034.0
• 申請日: 2018-05-08
• 公開（公告）號: CN108647295B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 李武軍;崔雪
• 申請（專利權）人: 南京大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06V10/74
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李玉平

1.一種基于深度協同哈希的圖片標注方法，其特征在于，包括圖片標注收集、圖片特征表示學習、圖片標注哈希學習優化三個部分，使用協同哈希為圖片和標注間的一致性建模，使用平方損失為圖片間的相似性信息建模；在求解時，利用離散優化的策略學習圖片和標注的編碼，同時使用梯度反向傳播優化深度網絡的參數；在線應用時，對于一張沒有標注的圖片，使用哈希網絡生成二值編碼，之后在海明空間內尋找與其海明距離小的標簽作為圖片的標注；

圖片標注收集具體是：

令為n個圖片集合，C為m個標簽集合；每張圖片都對應著標簽集合C中的幾個標簽，構成了圖片標注矩陣R＝{r_ij}，矩陣R中的每個元素反映了圖片和標簽的相關性；r_ij＝1表示第i個圖片對應著第j個標簽；r_ij＝0表示第j個標簽不是第i張圖片的標簽或者第j個標簽是第i張圖片的缺失標簽；模型的目標是學習圖片的最優二值編碼B,標簽的最優二值編碼V，同時，學習生成圖片二值編碼的哈希函數h；

圖片特征表示學習具體是：

使用預訓練的卷積神經網絡CNN-F模型提取圖片特征表示，CNN-F包括五層卷積神經網絡，兩層全連接層；五層卷積神經網絡分別是卷積層一至五，兩層全連接層分別為全連接層六和哈希層；每個卷積層包括五個部分：“filter”指定卷積感受野的大小和卷積個數；“stride”指定兩個卷積操作間的間隔；“pad”表示零填充的數目；“LRN”表示是否使用局部正則；“pool”指定下采樣的區域大小；全連接層六用4096維作為特征表示；哈希層的維度為對應的哈希編碼的個數；

圖片標注哈希學習優化具體是：

根據圖片內容或者社交鏈接信息定義圖片的相似性，利用深度網絡建模圖片的相似性信息以及圖片和標注一致性信息構建統一的模型：

s.t.B∈{-1,+1}^c×n,V∈{-1,+1}^c×m,

其中，E為損失函數，c為哈希編碼的比特數，n為圖片的個數，m為標簽的個數，R表示圖片和標簽間一致性矩陣，S為圖片相似性矩陣，U為深度網絡學習到的圖片編碼的實值表示，B為圖片的二值編碼表示，μ為控制圖片和標注間一致性與圖片間相似性的權重，λ為控制圖片實值表示和二值表示間的量化損失；使用交替優化的策略，逐個比特地離散優化變量B，逐個比特地離散優化變量V；對于變量U，使用梯度下降進行更新；訓練完成后，使用學習到的深度網絡哈希函數表示圖片的二值編碼，將計算得到的圖片二值編碼與標簽集合二值編碼的海明距離進行排序，根據實際任務選取圖片對應的標簽。

2.如權利要求1所述的基于深度協同哈希的圖片標注方法，其特征在于，令變量V_i*是V的第i行，V_i*是二值變量，因此離散求解

按照這個公式，逐比特地更新變量V的每一個比特；

其中矩陣Q的計算公式為

Q＝cBR^T

Q_i*為變量Q的第i行，B_i*為變量B的第i行，為變量B除去B_i*后剩余的矩陣，為變量V除去V_i*后剩余的矩陣，

固定U和V，更新變量B，同樣地能夠按照如下的公式逐比特地更新B；

其中矩陣D的計算公式為

D＝cVR^T+λU+μcUS^T

D_i*為變量D的第i行，U_i*為變量U的第i行，為變量U除去U_i*后剩余的矩陣，

固定變量B和變量V，更新變量U；U是網絡輸出的最后一層，提供最后一層的梯度公式，神經網絡參數Θ使用鏈式法則更新；

其中，U_*i為變量U的第i列，B_*j為變量B的第j列，s_ij為圖片i和圖片j間的相似性；

假定神經網絡參數為Θ，整個網絡的過程定義為φ，則圖片x_i的哈希函數表示為

h(x_i)＝sign(φ(x_i，Θ))

使用如上的方式，最終求得變量B、變量V、變量U以及哈希函數h。