[發明專利]基于稀疏圖結構的深度無監督圖像檢索方法

有效

• 申請號: 201911083223.8
• 申請日: 2019-11-07
• 公開（公告）號: CN110941734B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 張浩峰;王偉偉
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

1.一種基于稀疏圖結構的深度無監督圖像檢索方法，其特征在于，具體步驟為：

步驟1、對訓練數據集進行預處理，提取訓練數據集的圖像特征；

步驟2、構建加權稀疏圖，并根據稀疏圖確定網絡模型，所述網絡模型使用對稱的自編碼器結構，包括編碼器與解碼器，具體步驟為：

步驟2-1、將訓練數據集的圖像特征作為樣本，計算所有樣本間的相似度；

步驟2-2、分別對每個樣本與其他樣本的相似度值按照從高到低的順序排序；

步驟2-3、分別對每個樣本選擇出前k個近鄰樣本，并進行連接，形成稀疏圖；

步驟2-4、根據稀疏圖中的邊所連接節點對的度計算每條邊的權重，形成加權稀疏圖；

步驟2-5、根據加權稀疏圖確定網絡模型，所述網絡模型使用對稱的自編碼器結構，自編碼器網絡的訓練公式為：

其中，Ω_B表示稀疏圖結構中的邊集，每條邊都由連接的節點對表示，w_ij表示邊(i,j)的權重，β表示第三項對整個公式的相對貢獻程度，z_n表示編碼器的輸出，即z_n＝f(x_n,Θ)，Θ表示編碼器網絡權重參數，u_n表示解碼器輸出，即u_n＝g(x_n,Θ，Λ)，Λ表示解碼器網絡權重，b_n由z_n二值量化而來，α表示第二項的相對重要性，下標n表示第n張圖像，表示第n張圖像的特征(n＝1,2,…N)；

步驟3、利用訓練數據集的圖像特征以及加權稀疏圖對網絡模型進行訓練，具體方法為：

步驟3-1、根據自編碼器網絡的訓練公式以及編碼器的輸出z_n對編碼器權重的梯度更新編碼器權重，其中：

自編碼器網絡的訓練公式對z_n的梯度為：

根據鏈式法則，Θ的更新過程為：

η為學習率；

步驟3-2、樣利用梯度下降的方式更新解碼器網絡權重參數Λ，更新公式為：

步驟3-3、更新相應的二值哈希碼，更新公式為：

b_n^new＝sign(z_n^new)＝sign(f(x_n,Θ^new))

步驟3-4、重復步驟3-1到步驟3-3，直至最近兩次的自編碼器網絡的訓練公式的差值小于預設值；

步驟4、按照步驟1提取待測圖像的圖像特征，將待測圖像的圖像特征作為網絡模型的輸入，提取編碼器網絡的輸出作為待測圖像的低維特征，對低維特征進行二值量化，得到待測圖像的哈希碼；

步驟5、計算待測圖像與待查詢數據庫中所有圖像哈希碼的漢明距離，判斷距離值是否小于預設閾值或者對所有距離值進行排序，根據比較結果或者排序結果輸出待查詢數據庫中對應的圖像作為待測圖像的近似圖像。

2.根據權利要求1所述的基于稀疏圖結構的深度無監督圖像檢索方法，其特征在于，對訓練數據集進行預處理的具體方法為：

將訓練數據集圖像輸入經過在ImageNet數據集上進行分類預訓練的VGG16網絡提取出fc7層4096維圖像特征。

3.根據權利要求1所述的基于稀疏圖結構的深度無監督圖像檢索方法，其特征在于，樣本間的相似度計算公式為：

其中x_i與x_j分別表示兩張圖像的圖像特征，下標i與j表示圖像的序號，||·||₂表示向量二范數，s_ij表示兩者相似度。

4.根據權利要求1所述的基于稀疏圖結構的深度無監督圖像檢索方法，其特征在于，每條邊的權重的計算方式為：

其中，d_m表示第m條邊的度，w_ij表示加權稀疏圖中連接第i個樣本與第j個樣本的邊的權重。