[發明專利]匹配圖像的系統和方法

有效

• 申請號: 201080010602.5
• 申請日: 2010-01-15
• 公開（公告）號: CN102341813A
• 公開（公告）日: 2012-02-01
• 發明（設計）人: M·A·魯宗;D·坦圭
• 申請（專利權）人: A9.COM有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢孟清

技術領域

本發明通常涉及數字圖像處理領域。更具體地，本發明涉及一種將圖像與另一圖像匹配的方法和系統。

背景技術

圖像匹配是用于計算機視覺、對象識別、運動跟蹤、3D建模等中的基本技術。實施圖像匹配用來檢查兩個圖像是否具有相同內容。該兩個圖像不需要完全相同。例如，可旋轉一個圖像或從不同視角使用一個圖像，在與另一個圖像比較時，或者其可以是另一個圖像的縮放版本。進一步地，可在不同的光照條件下使用該兩個圖像。盡管在該兩個圖像中有這樣的變化，他們包含相同的內容，場景或對象。因此，使用圖像匹配技術來有效地匹配圖像。

常見圖像匹配算法利用了對象或場景的圖像包含多個特征點的事實。特征點是在圖像中的特定點，其對于在圖像旋轉、成比例、視角或光照環境中的變化而言是健壯的。這意味著這些特征點將經常出現在兩個圖像中，即使該兩個圖像在較早描述的方式中不同。因此，該圖像匹配算法的第一階段是找到在該圖像中的這些特征點。通常，構建圖像金字塔用來確定該圖像的特征點。該圖像金字塔是該圖像的尺度空間表示，即，其包含了各種金字塔圖像，其每一個是以特定尺度的圖像表示。該尺度空間表示使得該圖像匹配算法來匹配在整個尺度上不同的圖像。在確定了該圖像金字塔中該金字塔圖像的特征點后，基于在該特征點處的本地圖像梯度來確定該特征點的取向。這些取向對于旋轉提供了該特征點的不變性。該特征向量表示為在局部變形和照明中的顯著變化作準備，即，該特征向量對于在光照環境中的變形和變化而言是不變的。

該特征點，他們的取向和該金字塔圖像的特征向量形成了該圖像的完全表示。這些表示可在圖像中比較以找到匹配圖像。基于圖像的特征點匹配，一對圖像相匹配。可將該對圖像確定為匹配，當充分數量的特征點與另一個圖像的相應特征點在視覺上和幾何上都匹配時。相互接近的特征向量在視覺上相同，該對應特征點被稱為‘假定對應’或‘對應’。一般地，該假定對應由統計算法來處理以測試幾何上的一致。

一般地，對于圖像的幾何匹配，所用的統計算法是隨機取樣一致性(RANSAC)算法，盡管可使用RANSAC類似算法的其他變體或其他統計算法。在RANSAC中，一小組假定對應被隨機取樣。此后，使用這些取樣特征點來生成幾何變換。在生成該變換后，確定了適合該模型的假定對應。適合該模型的假定對應在幾何上是一致的并被稱為‘內窗層’。此后確定了該內窗層的總數。重復上述步驟，直到重復/試驗的次數大于預定閾值或該圖像的內窗層數量足夠多到將圖像確定為匹配。該RANSAC算法返回具有對應于該模型的最高數量內窗層的模型。

與使用該類型方法相關的一個問題在于，該統計算法所生成的該組可能變換可能大于該組物理有效變換。例如，該變換可能翻動矩形的一邊，導致不可能獲取堅固對象的旋轉。在另一實施例中，其可能翻動該整個矩形，僅僅通過拍攝該對象的倒影來實現變換。這可能引導不正確的圖像匹配。進一步地，這可能導致無用的計算，因為進行了該變換所生成的參數/點的分析，即使該變換本身可能是物理上無效或不切實際的。

在該假定對應中的每一個特征點具有與其相關的取向。在需要旋轉不變性的應用中，對于成為有效的變換，更可取的應當保留在假定對應中兩個特征點的取向。使用RANSAC的許多應用并不考慮這個限制。

即使確定了該假定對應是緊密匹配，一般地，該假定對應單獨無法確保該圖像對形成最后的匹配。假定對應僅僅給出在該圖像對特征點之間視覺相似性相關的信息。這一般不足以確定在該圖像對之間的最后匹配。存在一種可能，兩個圖像的對應區域可能生成多個假定對應。例如，如果圖像特征在超過一個尺度處顯著，可生成多個特征點，也許形成多個假定對應。選擇這些假定對應之一以生成另一個假定對應將同樣成為內窗層的該變換方式，因而創建了錯誤意義的信息，即用該變換的匹配的該兩個圖像是真正匹配。移走一組對應特征點的所有除了一個，先驗是錯誤的方式，因為對應不同查詢圖像可能不存在多個假定對應，以及決不告訴哪一個是最好，因為可能不存在多個被錯誤解釋的假定對應。換句話說，僅僅使用假定對應一般無法提供足夠信息以便建立在該查詢圖像和該數據庫圖像之間的清楚匹配。

而且，該兩個圖像可共享該圖像的元件或一小部分，類似公司或其他實體的標記，會成為可能。該圖像同樣可能共享以相同字體的文本片段。這些共享元件可能創建了足夠的內窗層用來宣布圖像匹配，而實際上該兩個圖像不相同。進一步地，可能存在的情況是，查詢圖像可能具有多個圖像對象，其中每一個表示在分開的數據庫圖像中。該數據庫圖像是多個該查詢圖像需要進行匹配的圖像。

存在對一種克服上述限制的改善的圖像匹配方法的需求。

發明概述