[發明專利]局部特征量算出裝置和方法以及對應點搜索裝置和方法

有效

• 申請號: 201210048175.0
• 申請日: 2012-02-28
• 公開（公告）號: CN103295245A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 安倍滿;吉田悠一
• 申請（專利權）人: 電裝IT研究所
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/00
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 段承恩;徐健

技術領域

本發明涉及用于算出圖像的局部特征量的局部特征量算出裝置和局部特征量算出方法、以及使用了局部特征量算出裝置的對應點搜索裝置和使用了局部特征量算出方法的對應點搜索方法。

背景技術

以往，在圖像處理領域中，多會使用對兩個圖像之間的對應點進行搜索的對應點搜索處理。圖22是表示兩個圖像之間的對應點的圖。這樣，通過對多個圖像之間的對應點進行搜索，能夠從圖像數據庫中檢索與輸入圖像對應的圖像、或者使以不同的視點拍攝到的被攝體的多個圖像相關聯地還原該被攝體的三維形狀。

為了搜索兩個圖像之間的對應點，可以使用局部特征量。局部特征量是指使關注像素的周邊區域的紋理圖案(texture?pattern)帶有特征的量，以D維的向量來表示。周邊的紋理圖案相似的像素具有類似的局部特征量。因此，例如通過對第一圖像和第二圖像各自的像素求出局部特征量，并對這些特征量進行比較，能夠判斷第一圖像的該像素與第二圖像的該像素是否為對應的像素(對應點)。

圖23是用于說明使用了局部特征量的圖像檢索的圖。能夠通過使用了局部特征量的對應點搜索來如以下那樣進行圖像檢索(例如，參照非專利文獻1)。圖像檢索的目的在于，從圖像數據庫中檢索與輸入圖像對應的圖像。首先，對圖像數據庫中登記的多個圖像分別抽取各自的特征點，求出各特征點的局部特征量。當成為檢索對象的圖像(輸入圖像)被輸入后，也從該輸入圖像抽取特征點，對各特征點求出局部特征量。然后，關注輸入圖像的多個特征點中的一個特征點，從圖像數據庫中檢索與該關注特征點所具有的局部特征量最接近的局部特征量。然后，對找出的局部特征量所屬的圖像投一票。對輸入圖像中的全部特征點反復進行該處理，將得到最多投票的圖像作為檢索結果。

另外，通過使用了局部特征量的對應點搜索，如以下那樣能夠由以不同的視點拍攝到的多個圖像還原三維形狀(例如，參照非專利文獻2)。首先，從由多個攝像位置拍攝攝像對象而得到多個圖像中選擇兩個圖像，求出該兩個圖像之間的對應點。對多個圖像的全部組合進行該對應點搜索。接著，將對應點的信息作為線索，通過捆綁調整(bundle?adjustment，集束調整)來求出各圖像的攝像位置參數以及攝像對象的形狀參數。

作為求出局部特征量的代表方法，已知SIFT(Scale?Invariant?FeatureTransform：尺度不變特征轉換)(例如參照非專利文獻3和專利文獻1)、SURF(Speeded?Up?Robust?Features：快速魯棒特征)(例如參照非專利文獻4)。在SIFT和SURF中，即使圖像旋轉或者圖像的尺度不同，也能夠計算這些變化中不變(不受影響)的局部特征量。因而，在搜索兩個圖像之間的對應點時，即使圖像旋轉或者圖像的尺度不同，也能夠適當地求出圖像之間的對應點。

以下，以SIFT為例說明局部特征量的算出方法。圖24是基于SIFT的局部特征量算出處理的流程圖。另外，圖25～27是用于說明基于SIFT的局部特征量算出處理的圖。在局部特征量算出處理中，首先，如圖25的(a)所示，從圖像TP中抽取特征點p以及以該特征點為中心設定的附近區域NR(步驟S71)。在存在多個特征點p的情況下，對各個特征點p設定附近區域NR。在該特征點p以及附近區域NR的抽取處理中，通過DoG濾波器，與特征點p的位置一起輸出圖像的尺度信息。通過根據該尺度信息來切出以特征點p為中心的附近區域NR，實現尺度不變性。

接著，求出主軸的方向(步驟S72)。在主軸的計算處理中，對針對各特征點p設定的各個附近區域NR應用以下處理。首先，如圖25的(c)、(d)所示，針對附近區域NR內的各像素計算x方向和y方向的微分值，求出邊緣強度m(x，y)以及邊緣梯度(斜率)方向θ(x，y)。在此，通過以特征點p為中心的高斯窗G(x，y，σ)(參照圖25的(b))對邊緣強度m(x，y)進行加權，得到加權邊緣強度mhat(x，y)。由此，視為越是附近區域NR中的中央的像素，則越具有重要的信息。

接著，生成邊緣梯度方向直方圖。具體而言，將各像素的邊緣梯度方向量化為36種，對符合的方向進行加權邊緣強度mhat(x，y)投票。這樣，通過對附近區域NR中的所有像素進行邊緣梯度方向的量化以及加權邊緣強度的投票，從而得到如圖25的(e)所示的邊緣梯度方向直方圖。接著，從該梯度方向直方圖中檢測出最大值，使用具有最大值的方向的左右的值來擬合二次函數，將與其極大點對應的方向作為主軸的方向v。