[發明專利]用于在多個已存儲圖像中搜索相似圖像的方法

有效

• 申請號: 201580075831.8
• 申請日: 2015-08-07
• 公開（公告）號: CN107223242B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: J·恩斯特龍
• 申請（專利權）人: 索尼公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 呂俊剛;楊薇

本公開總體上涉及用于在多個已存儲圖像中搜索相似圖像的方法和計算機程序產品，并且尤其涉及一種在基于內容的圖像取得系統中使用的方法和計算機程序產品，其中大致相似的圖像被聚類并且基于在聚類中的圖像中的特征向量的匹配頻率來過濾經聚類的圖像的特征向量。

技術領域

本公開總體上涉及用于在多個已存儲圖像中搜索相似圖像的方法和計算機程序產品，并且尤其涉及在基于內容的圖像取得系統中使用的方法和計算機程序產品，其中大致相似的圖像被聚類并且基于聚類中的圖像中的特征向量的匹配頻率來過濾經聚類的圖像的特征向量。

背景技術

在多個圖像中搜索與特定圖像相似的圖像在當今的圖像取得系統中是好用的特征。大多數傳統的和普遍的圖像取得方法利用某種人工圖像注釋方法，其依賴于人向圖像人工地增加諸如關鍵詞之類的元數據，使得可以經由該元數據詞來執行取得。人工圖像注釋是費時的、艱巨的且昂貴的。

作為替代，可以使用基于內容的圖像取得(CBIR)系統。在這種系統中，計算在系統中每個圖像的特征描述符。在這種CBIR系統中常常出現的一個問題是將來自一個圖像的所有特征描述符與來自所有其它圖像的特征描述符相比較的絕對計算復雜性。使用最普遍的特征描述符之一，SIFT(比例不變特征變換)可以對單個圖像產生超過20000個描述符。將圖像中的20000個SIFT向量與系統中的所有圖像(例如10000個圖像)中的相同數量的向量相比較導致非常高的計算負載以及緩慢的CBIR系統。

從而希望減小計算負載并且提高CBIR系統的速度。

發明內容

本發明總體上旨在消除或至少減少上面討論的問題以及其它問題。

依照第一方面，本發明由一種用于在多個已存儲圖像中搜索相似圖像的方法來實現，所述方法包括步驟：對于每個已存儲圖像，計算表示已存儲圖像的內容的僅一個特征向量，通過使用針對每個圖像計算的一個特征向量來計算在多個已存儲圖像的每個已存儲圖像之間的距離量度，基于所計算的距離量度，將多個已存儲圖像聚類到已存儲圖像的一個或多個聚類中，其中，每個聚類包括一個或多個已存儲圖像。

所述方法進一步包括：對于包括多個已存儲圖像的每個聚類，并且對于所述聚類中的每個已存儲圖像，計算多個特征向量，每個特征向量表示已存儲圖像的內容。

方法中的下一步驟是在聚類中的所有已存儲圖像的多個特征向量之間執行匹配操作，以及基于匹配操作的結果，過濾在至少閾值數目個已存儲圖像之間匹配的特征向量，并且存儲經過濾的特征向量。

然后取得應找到相似圖像的圖像，并且計算所取得圖像的多個附加特征向量。然后使用一個或多個聚類中的至少一個的存儲過濾特征向量以及附加特征向量來在多個已存儲圖像中找到相似的圖像。

按照術語，“特征向量”在本公開的范圍內應被理解為定義圖像的特征描述符中的一個特征描述符或特征描述符的組合。特征向量可以具有任何維度。描述符的例子可以是圖像中的顏色直方圖，或者一組SIFT/SURF向量。

按照術語，“距離量度”在本公開的范圍內應被理解為用于定義當考慮圖像的內容時兩個圖像有多相似。通過使用特征向量來計算這種距離量度，當計算距離量度時不考慮諸如圖像中的噪聲或樹葉等在圖像之間的位置的小差異這樣的無關的東西。

本發明是基于以下認識，即，通過利用聚類，其中相似的圖像已經被分組到一起，通過向有關特征引導過濾算法(SIFT，SURF或其它特征描述符)，可以實現高效的特征向量或特征描述符過濾。最后這將產生非常快且準確的圖像取得系統，其中可以找到相似的對象、面部、建筑物等。

通過使用僅一個特征向量來將多個圖像聚類到一個或多個聚類中，實現了用于聚類大致相似的圖像的迅速且計算高效的方法。一個特征向量應有益地表示圖像的全局描述符，諸如圖像的顏色直方圖。在這種情況下，可以對圖像的降采樣版本計算顏色直方圖，或者可以聚類顏色直方圖。