[發明專利]基于隨機化視覺詞典組和上下文語義信息的目標檢索方法

有效

• 申請號: 201210168671.X
• 申請日: 2012-05-28
• 公開（公告）號: CN102693311A
• 公開（公告）日: 2012-09-26
• 發明（設計）人: 趙永威;李弼程;高毫林;藺博宇
• 申請（專利權）人: 中國人民解放軍信息工程大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 陳大通

技術領域

本發明涉及一種基于隨機化視覺詞典組和上下文語義信息的目標檢索方法。

背景技術

近年來，隨著計算機視覺，特別是圖像局部特征（如SIFT）和視覺詞典法（BoVW，Bag?of?Visual?Words）的飛速發展及應用，使得目標檢索技術日趨實用化，并在現實生活產品中得到了廣泛應用。如Tineye是一種面向網絡的近似重復圖像檢索系統，Google?Goggles則允許用戶使用手機拍攝圖片并檢索出與圖片中所包含目標的相關信息。BoVW方法是受文本檢索領域詞集方法啟發而產生的，由于BoVW方法性能突出，目前已經成為目標檢索領域的主流方法，但是它也存在一些開放性的問題。一是算法的時間效率低及內存消耗大問題。BoVW方法涉及到大量的高維數據近鄰查找問題，如在視覺詞典生成階段，傳統的做法是采用K-Means算法對特征點聚類而得到的，而K-Means算法的每次迭代都需要將數據點分配到與之最近的聚類中心，以及視覺詞匯直方圖構建時需找到與圖像的局部特征點最近的視覺單詞等，其用于近鄰查找的時間將隨數據規模的增大急劇增加。相關文獻表明K-Means算法只適用于生成較小規模的詞典，當詞典規模超過10⁵時就難以解決。Nister等采用層次化K-Means算法HKM（Hierarchical?K-Means）提高了量化和檢索效率，在此基礎上，Philbin等及Cao等人又采用近似K-means算法AKM(Approximate?K-Means)針對大規模目標檢索實現了進一步優化。而為了提高檢索效率，還常引入倒排文檔結構（inverted?file），盡管如此，內存消耗依然是BoVW方法面臨的主要問題之一，相關文獻表明處理110萬幅的圖像仍要占用4.3GB的內存。此外，K-Means及其改進算法（HKM，AKM等）不支持動態擴充，即它們生成的視覺詞典與現有的圖像訓練數據是相關的，當加入新的圖像時，需對新圖像訓練庫的局部特征點重新聚類，生成新的視覺詞典。

二是視覺單詞的同義性和歧義性問題。基于K-Means以及改進的聚類算法由于沒有考慮特征點之間的空間關系，在生成詞典時都會導致以下2個問題：①聚類中心的分布不均勻特性，即在數據點密集空間得到的聚類中心偏多，而在數據點稀疏區域得到聚類偏少，由此會導致有多個視覺單詞描繪同一圖像區域的現象，即視覺詞匯的同義性；②偏離聚類中心的數據點會使聚類中心發生偏移，導致視覺詞匯的歧義性，即同一個視覺詞匯描述的特征點之間存在很大的差異現象。對此，研究人員進行了諸多嘗試，如Philbin等人提出了一種軟分配（soft-assignment）的視覺詞匯分布直方圖的構建方法，Gemert等進一步驗證了軟分配方法對克服視覺單詞同義性和歧義性問題的有效性，Wang等人在構建直方圖時引入了一種QP分配（quadratic?programming?assignment）的策略進一步提高了匹配精度，較于傳統的硬分配（hard-assignment），它們在一定程度上克服了同義性和歧義性問題，然而，這些方法都是建立在應用K-Means以及其改進的聚類算法產生初始視覺詞典基礎上的，未能有效地解決BoVW方法存在的效率問題。此外，為了更為準確的表達目標的信息，Hsiao等則利用相關信息反饋過濾噪聲。