[發明專利]一種基于迭代視覺排序的圖像檢索方法

有效

• 申請號: 201710517346.2
• 申請日: 2017-06-29
• 公開（公告）號: CN107391594B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王大勇;田新梅;胡健;夏同飛;邵善陽;湯才寶;馬福運
• 申請（專利權）人: 安徽睿極智能科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 宋倩;金凱

1.一種基于迭代視覺排序的圖像檢索方法，其特征在于，包括以下步驟：

(1)提取與查詢相關的數據庫中每幅圖像的全局視覺特征和局部視覺特征；

(2)利用提取出的每幅圖像的全局視覺特征和局部視覺特征，計算任意兩幅圖像之間的相似性，構造相似性矩陣，并對所述相似性矩陣進行列歸一化，得到轉移矩陣；

(3)利用視覺排序技術得到每幅圖像與查詢的相關性得分向量，將每幅圖像按照各自的相關性得分降序排列，得到初次視覺排序結果，所述相關性得分向量通過以下公式迭代求解，

VR＝d(S^*×VR)+(1-d)p

其中，VR表示相關性得分向量，VR＝[vr₁,vr₂,…,vr_i,…,vr_n]^T，vr_i,i＝1,2,…,n表示所述數據庫中第i幅圖像I_i與查詢的相關性得分，n表示所述數據庫中圖像的總數，VR的初始值設置為每個元素d表示平衡參數，S^*表示轉移矩陣，p表示先驗權重向量，此處設置為

(4)基于所述初次視覺排序結果進行多次迭代視覺排序，得到最終的視覺排序結果，具體如下：

在進行第t,t＝1,2,…,T次迭代時，將第t-1次迭代得到的視覺排序結果中的前t×m幅圖像的先驗權重設置為剩余n-t×m幅圖像的先驗權重設置為0，并將第t-1次迭代得到的相關性得分作為初始值，利用步驟(3)中的公式得到進行第t次迭代的相關性得分向量，將每幅圖像按照各自新的相關性得分降序排列，得到進行第t次迭代的視覺排序結果；其中，將所述初次視覺排序結果視為進行第0次迭代得到的；

所述步驟(2)中，兩幅圖像之間的相似性分為全局相似性和局部相似性；

所述步驟(3)中，在得到初次視覺排序結果過程中使用的轉移矩陣所對應的相似性矩陣，其各個元素設置為：任意兩幅圖像之間的相似性均采用局部相似性；

所述步驟(4)中，在進行第t,t＝1,2,…,T次迭代視覺排序過程中使用的轉移矩陣所對應的相似性矩陣，其各個元素設置為：第t-1次迭代得到的視覺排序結果中的前t×m幅圖像之間采用局部相似性，剩余n-t×m幅圖像之間也采用局部相似性，前t×m幅圖像與剩余n-t×m幅圖像之間采用全局相似性。

2.根據權利要求1所述的基于迭代視覺排序的圖像檢索方法，其特征在于，所述步驟(1)具體包括：

a、采用在ImageNet LSVRC-2012數據集上訓練好的深度卷積神經網絡；

b、將每幅圖像輸入所述深度卷積神經網絡，提取第七層全連接層的4096維特征向量，歸一化后作為對應圖像的全局視覺特征：

c、將每幅圖像輸入所述深度卷積神經網絡，提取最后一層卷積層的256個輸出特征圖，每個特征圖高為37，寬為37，則每幅圖像得到1369個256維特征向量；

從所述數據庫中所有圖像的256維特征向量中隨機抽取M個，用K均值聚類算法將其分入N個聚類中，所述N個聚類的聚類中心組成一個碼本；

統計每幅圖像的1369個256維特征向量在所述碼本上的分布直方圖，歸一化后作為對應圖像的局部視覺特征。

3.根據權利要求1所述的基于迭代視覺排序的圖像檢索方法，其特征在于，所述全局相似性采用以下公式計算：

其中，表示所述數據庫中第i幅圖像I_i與第j幅圖像I_j之間的全局相似性，i,j＝1,2,…,n，d_ij表示圖像I_i的全局視覺特征與圖像I_j的全局視覺特征之間的歐氏距離，λ為大于0的常數；

所述局部相似性采用以下公式計算：

其中，表示所述數據庫中第i幅圖像I_i與第j幅圖像I_j之間的局部相似性，i,j＝1,2,…,n，θ_ij表示圖像I_i的局部視覺特征與圖像I_j的局部視覺特征之間的夾角。

4.根據權利要求1所述的基于迭代視覺排序的圖像檢索方法，其特征在于，所述步驟(3)中，d＝0.85。