[發明專利]一種基于迭代視覺排序的圖像檢索方法

有效

• 申請號: 201710517346.2
• 申請日: 2017-06-29
• 公開（公告）號: CN107391594B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王大勇;田新梅;胡健;夏同飛;邵善陽;湯才寶;馬福運
• 申請（專利權）人: 安徽睿極智能科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 宋倩;金凱

本發明提供一種基于迭代視覺排序的圖像檢索方法，包括：提取每幅圖像的全局視覺特征和局部視覺特征；構造相似性矩陣，列歸一化后得到轉移矩陣；利用視覺排序技術得到初次視覺排序結果；基于初次視覺排序結果進行多次迭代視覺排序，得到最終的視覺排序結果。本發明利用多次迭代的視覺排序方法實現了對圖像檢索結果的改進，有效改善了圖像檢索性能，提升了用戶體驗。

技術領域

本發明涉及圖像檢索技術領域，具體是一種基于迭代視覺排序的圖像檢索方法。

背景技術

圖像檢索是圖像分析與處理領域的前沿研究課題。圖像檢索中的兩個重要方面是排序模型和圖像視覺特征。在排序模型方面，傳統的有基于分類的方法，即將圖像檢索看作是一個兩分類問題，把數據庫中的圖像分為相關和不相關兩類。這類方法忽略了圖像與圖像之間的關系。因此，基于圖的圖像檢索方法被提出，其中視覺排序是非常有名的一種基于圖的圖像檢索算法。視覺排序通過分析圖與圖之間的連接關系和相似程度，計算每幅圖像的相關分數；分數越高，排序越靠前。然而，視覺排序在給出一次排序結果后就終止了，事實上該排序結果的效果仍然不夠好；如果可以再次利用此次排序結果進行進一步更新的話，效果能夠繼續提升。在視覺特征提取方面，以尺度旋轉不變特征為代表的人工提取特征之前占據主流；近幾年，隨著深度學習技術的發展，深度特征受到關注，并取得了更加優越的性能。為提升深度學習特征在視覺排序中的效果，需要研究如何在視覺排序中充分利用不同層級的深度特征。

發明內容

本發明的目的在于提供一種基于迭代視覺排序的圖像檢索方法，利用多次迭代的視覺排序方法實現對圖像檢索結果的改進，有效改善圖像檢索性能，提升用戶體驗。

本發明的技術方案為：

一種基于迭代視覺排序的圖像檢索方法，包括以下步驟：

(1)提取與查詢相關的數據庫中每幅圖像的全局視覺特征和局部視覺特征；

(2)利用提取出的每幅圖像的全局視覺特征和局部視覺特征，計算任意兩幅圖像之間的相似性，構造相似性矩陣，并對所述相似性矩陣進行列歸一化，得到轉移矩陣；

(3)利用視覺排序技術得到每幅圖像與查詢的相關性得分向量，將每幅圖像按照各自的相關性得分降序排列，得到初次視覺排序結果，所述相關性得分向量通過以下公式迭代求解，

VR＝d(S^*×VR)+(1-d)p

其中，VR表示相關性得分向量，VR＝[vr₁,vr₂,…,vr_i,…,vr_n]^T，vr_i,i＝1,2,…,n表示所述數據庫中第i幅圖像I_i與查詢的相關性得分，n表示所述數據庫中圖像的總數，VR的初始值設置為每個元素d表示平衡參數，S^*表示轉移矩陣，p表示先驗權重向量，此處設置為

(4)基于所述初次視覺排序結果進行多次迭代視覺排序，得到最終的視覺排序結果，具體如下：

在進行第t,t＝1,2,…,T次迭代時，將第t-1次迭代得到的視覺排序結果中的前t×m幅圖像的先驗權重設置為剩余n-t×m幅圖像的先驗權重設置為0，并將第t-1次迭代得到的相關性得分作為初始值，利用步驟(3)中的公式得到進行第t次迭代的相關性得分向量，將每幅圖像按照各自新的相關性得分降序排列，得到進行第t次迭代的視覺排序結果；其中，將所述初次視覺排序結果視為進行第0次迭代得到的。

所述的基于迭代視覺排序的圖像檢索方法，所述步驟(1)具體包括：

a、采用在ImageNet LSVRC-2012數據集上訓練好的深度卷積神經網絡；

b、將每幅圖像輸入所述深度卷積神經網絡，提取第七層全連接層的4096維特征向量，歸一化后作為對應圖像的全局視覺特征：