[發明專利]基于多特征融合的圖像檢索方法

有效

• 申請號: 201410085211.X
• 申請日: 2014-03-10
• 公開（公告）號: CN103810299B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 鄧成;王嘉龍;楊延華;李潔;彭海燕;高新波
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/66
• 代理公司: 陜西電子工業專利中心61205
• 代理人: 王品華,朱紅星

技術領域

本發明屬于信息檢索技術領域，具體的說是一種針對基于圖像多特征融合的圖像檢索方法，可用于互聯網圖像檢索領域。

背景技術

當前互聯網背景下，諸如Google、Image?Search、必應等大多數的商業網絡圖像搜索引擎都是采用基于文本的檢索技術，主要是利用諸如標題、圖像周圍描述文本等標注文字，與查詢文本做相似性匹配，利用這種相似性對檢索的圖像進行檢索。然而，由于文本和圖像內容之間存在語義鴻溝，單單基于文本檢索的技術常常達不到好的效果。另外，由于圖像標注存在多義噪音數據，由圖像元數據分析得出的圖像標簽的正確性往往也無法保證。

為了提高現存基于文本技術的圖像搜索引擎的準確率，近些年來，改善圖像檢索結果準確率的圖像檢索技術得到了越來越多的關注。現存的很多圖像檢索技術大多利用單一類型的圖像視覺特征，比如全局特征或是局部特征，通過某些標注樣本來度量圖像的視覺相似性。這些標注樣本可以通過有監督的方法或無監督的方法獲得，比如說通過偽相關反饋或者由用戶指定來獲得。這些標注樣本在某些情況下常常被稱為查詢圖像。然而圖像間的相似性往往是多角度的，比如說圖像間相似的顏色、紋理，彼此出現了相似的物體，反映了相近的視覺語義概念等等。不同的圖像視覺特征反映了圖像間不同角度的相似性，很多情況下，不同的視覺特征彼此間可以起到互相彌補的作用。這樣，通過融合不同的圖像視覺特征，就可以根據查詢圖像特點，綜合的描述數據庫中待檢索的每副圖像，從而從圖像不同的角度提高在線彼此相似性的測量。

現今檢索的大多數方法主要是利用多特征學習，采用前期融合或者后期融合的策略。所謂前期融合是指直接利用多種圖像視覺特征獲得總的圖像間相似性測度，而后期融合是指對多種特征所得的檢索結果進行融合。盡管現今基于多特征融合的圖像檢索方法可以在一定程度上改善圖像檢索排序結果的準確率，但是本質的問題依然存在。不同的檢索情況對應不同的視覺特征重要性，直接以固定系數做多特征融合往往難以取得令人滿意的圖像檢索結果。

發明內容

為了解決上述問題，本發明提供了一種基于多特征融合的圖像檢索方法，以提高圖像的檢測準確性。

本發明首先從圖像的語義屬性特征出發，分析每一種特征通道檢索結果中共現的語義屬性模式，進而根據分析出的共現語義屬性模式，選擇若干參考圖像，進而根據選擇的參考圖像動態地學習計算出每一種特征通道的模板權重矩陣，從而通過特征融合更好地編碼每一幅待檢索圖像和需要檢索的圖像之間的相似性距離，達到提高圖像檢索精度的目的。其實現步驟包括如下：

1.一種基于多特征融合的圖像檢索方法，包括如下步驟：

（1）提取圖像特征：

（1a）對待檢索圖像集合中的所有圖像提取8192維視覺詞袋詞頻BoW特征；

（1b）對待檢索圖像集合中的所有圖像提取960維GIST特征；

（1c）對待檢索圖像集合中的所有圖像提取512維HSV顏色直方圖特征；

（1d）通過離線訓練學習，針對2659種基本語義標簽，分別訓練2659種語義標簽的分類器，對待檢索圖像集合中的每幅圖像，分別用這2659種分類器做預測，并將對應每一種分類器得到的預測分數連成向量，作為該圖像的語義屬性特征。

（2）根據步驟(1a)、（1b）、（1c）得到的三種圖像特征，用歐式距離公式分別計算待檢索圖像集合中所有圖像兩兩之間的相似性距離，分別得到步驟(1a)對應圖像特征通道的鄰接距離矩陣H₁'、步驟(1b)對應圖像特征通道的鄰接距離矩陣H'₂、步驟(1c)對應圖像特征通道的鄰接距離矩陣H'₃，每個矩陣中的每個元素值代表對應圖像兩兩之間用對應特征計算得到的相似性距離；

（3）對圖像進行粗檢索，并選擇參考圖像：

（3a）根據步驟(1a)、（1b）、（1c）得到的圖像特征，用歐式距離公式分別計算用戶指定的查詢圖像和待檢索圖像集合中每幅圖像之間在每一種特征通道上的相似性距離，構成對應三種特征通道的三組檢索相似性距離向量；

（3b）利用上述三種特征通道的三組檢索相似性距離向量分別對步驟（2a）得到的圖像鄰接距離矩陣H₁'、H'₂、H'₃進行擴展，即將對應特征通道的檢索相似性距離向量添加到對應矩陣的第一行和第一列，得到分別對應所述三種特征通道的擴展后圖像鄰接矩陣H₁、H₂、H₃；