[發明專利]一種基于目標檢測的無監督深度哈希方法

有效

• 申請號: 201910449029.0
• 申請日: 2019-05-28
• 公開（公告）號: CN110196918B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 毛先領;涂榮成;黃河燕;程序;鄒佳
• 申請（專利權）人: 北京理工大學;中電科大數據研究院有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 唐華

1.一種基于目標檢測的無監督深度哈希方法，其特征在于：利用目標檢測獲得圖片中存在的物體標簽，并將這些標簽作為圖片的偽標簽，基于偽標簽訓練設計好的端到端深度哈希模型，得到每張圖片在漢明空間中的哈希碼表示；再通過對應哈希碼在圖片檢索任務中的平均準確率均值來評價深度哈希模型的好壞；其中，平均準確率均值，即Mean AveragePrecision，簡稱MAP；

基于目標檢測的無監督深度哈希方法依托的無監督深度哈希模型包括目標檢測算法單元以及哈希網絡單元；

其中，哈希網絡單元包括順序連接的五個卷積層和三個全連接層；

其中，五個卷積層和三個全連接層中的前兩個全連接層的激活函數均為ReLU，最后一個全連接層的激活函數為雙曲正切函數tanh；

目標檢測算法單元與哈希網絡單元相連；

目標檢測算法單元用于挖掘圖片中的隱語義標簽；哈希網絡單元用于生成圖片的哈希碼；

所述基于目標檢測的無監督深度哈希方法，包括如下步驟：

步驟1：選取一個目標檢測方法，將該方法在大規模的圖片數據集上按照選取的目標檢測方法的訓練步驟進行訓練，輸出訓練好的目標檢測單元；

步驟2：選取公共圖片數據集中百分之八十的圖片作為圖片數據集P，剩下的百分之二十作為測試集T；

其中，圖片數據集P中包含n張圖片，測試集T中包含r張圖片；

P中的第k張圖片表示為P_k∈P；k的取值范圍為1到n；

T中的第k張圖片表示為T_k∈T；k的取值范圍為1到r；

步驟3：將圖片數據集P中的圖片輸入到預訓練好的目標檢測單元中檢測標簽；若一張圖片能被檢測出標簽，則將檢測出的標簽作為該圖片偽標簽；若檢測不出標簽則舍去該圖片，將所有被檢測出標簽的圖片構成新的圖片數據集P′；

其中，預訓練好的目標檢測單元即步驟1輸出的訓練好的目標檢測單元；

其中，圖片數據集P′中包含m張圖片，m表示被檢測出標簽的圖片總數，且m小于等于n；

P′中的第j張圖片表示為P_j′∈P′；j的取值范圍為1到m；

步驟4：根據圖片數據集P′中圖片的偽標簽構造圖片數據集P′中的圖片對相似性矩陣S；

其中，圖片對相似性矩陣S中的第i行第j列表示為s_ij，S中的元素s_ij取值范圍為[0,1]，且s_ij越接近1表示圖片P_i′和圖片P_j′越相似，反之s_ij越接近0表示圖片P_i′和圖片P_j′越不相似；

步驟5：初始化無監督深度哈希模型中哈希網絡單元參數；

其中，哈希網絡單元參數，記為θ，包括哈希網絡單元中所有網絡層的權重參數和偏置參數；

步驟6：設置收斂判斷值flag的判斷初始值；

其中，判斷初始值的取值范圍為3到10；

步驟7：選取mini-batch大小為B并對每個mini-batch集合進行訓練；

其中，mini-batch集合是指將圖片數據集P′隨機分成份，每一份有B張圖片，每一份就是一個mini-batch，簡記為MB；

其中，表示的值向下取整；

步驟7，包括如下子步驟：

對圖片數據集P′，按大小為B劃分個mini-batch集合，對每一個MB做如下訓練：

步驟7.1：將MB_i輸入哈希網絡單元，獲得輸出u_i；

其中，MB_i代表MB中的第i張圖片；u_i表示MB_i經過哈希網絡單元處理后的輸出；

步驟7.2：對輸出u_i進行量化，得到b_i，按照損失函數公式(2)計算損失：

其中，θ表示哈希網絡單元中的所有權重參數及偏置參數；且表示u_i和u_j的點積，近似為哈希碼之間的漢明距離；b_i表示量化u_i后的哈希碼，量化方式為當u_i的某一位大于0時，b_i的對應位置值為1，反之b_i的對應位置值為-1；I_ij是一個指示函數，其定義為當s_ij＝0 or 1時，I_ij＝1，反之I_ij＝0；t_ij＝2s_ij-1；α及η表示哈希網絡單元的超參數α和超參數η；sigmoid(Θ_ij)的定義如公式(4)所示：

步驟7.3：基于隨機梯度下降反向更新哈希網絡單元參數θ；

步驟8：當哈希網絡單元損失隨訓練次數epoch下降較為緩慢時，降低學習率到原來的十分之一；

其中，較為緩慢指當前訓練時刻與前一時刻損失差值的絕對值小于閾值1；

步驟9：判斷當前步驟7.2所計算的損失和上一個訓練時刻步驟7.2所計算的損失的差值的絕對值是否小于閾值2，若是則將收斂判斷值flag減1，否則令收斂判斷值flag的值為判斷初始值；

步驟10：判斷當前損失是否收斂，即判斷收斂判斷值flag的值是否等于0，若等于0，即收斂，則獲得訓練好的哈希網絡單元，并跳至步驟11，若不等于0，即不收斂，則跳至步驟7；

至此，步驟1到步驟10使用圖片數據集P完成了對哈希網絡單元的訓練；

步驟11：將圖片數據集P中的所有圖片依次輸入哈希網絡單元，并獲得所有圖片量化后對應的哈希碼；

其中，數據集P中的第i張圖片，記為P_i，其量化后的哈希碼，記為b_i；

步驟12：將測試集T中的圖片輸入上述訓練好的哈希網絡單元，得到其對應的哈希碼；

步驟13：計算“測試集T中圖片的哈希碼”與“圖片數據集P中圖片的哈希碼”的漢明距離，并按漢明距離從小到大排序，返回檢索圖片；

其中，返回的檢索圖片是經漢明距離從小到大排序的前Y張圖片；

步驟14：依據步驟13返回的檢索圖片計算MAP、WMAP、NDCG、ACG值，即為評判無監督深度哈希模型優劣的評價指標；

至此，步驟9到步驟12使用測試集T完成了對哈希網絡單元的測試。