[發明專利]自運動估計系統和方法

在審

• 申請號: 201210344098.3
• 申請日: 2012-09-17
• 公開（公告）號: CN102999919A
• 公開（公告）日: 2013-03-27
• 發明（設計）人: 張燕昆;洪初陽;N.韋里奇
• 申請（專利權）人: 哈曼（上海）企業管理有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 丁藝;沙捷

技術領域

本發明涉及自運動，更具體來說，涉及估計相機的運動參數。

背景技術

自運動是指相機在一個環境內的三維移動。自運動估計是指基于由相機捕獲的一系列圖像來估計相機在一個環境內的移動。自運動估計是計算機視覺領域，且尤其是在理解并重建三維場景時的重要任務。對于移動機器(諸如，車輛和自導機器人)的基于計算機視覺的操作來說，場景理解和重建很重要。

為了理解或重建場景，可以利用計算機視覺技術來對場景的圖像幀進行分割。然而，當相機正在移動時，圖像分割可能為一項艱巨的任務。圖像分割技術必須考慮到相機的移動，可以通過估計自運動作為預備步驟來實現。

一種已知的自運動估計方法辨認、追蹤并匹配一系列圖像幀中的特征點。然而，特征跟蹤可能在計算上的處理成本很高。

另一種已知自運動估計方法依賴于圖像幀中的地標，諸如路面上的車道標記或文字。然而，在實踐中，路面上的顯著地標可能并不總是可用的。

一種用于估計自運動的額外技術使用立體視覺。這種技術使用至少兩個相機來獲得環境的圖像幀。結果，所述立體視覺方法增加了自運動估計的硬件成本。

因此，需要一種精確、快速并且計算成本低的方法來估計自運動。

發明內容

提供一種使用自運動估計系統來確定自運動參數的計算機實施方法。獲得第一圖像幀和第二圖像幀。選擇所述第一圖像幀的第一部分和第二圖像幀的第二部分來分別獲得第一子圖像和第二子圖像。對所述第一子圖像和所述第二子圖像中的每一者執行變換，以分別獲得第一透視圖像和第二透視圖像。以迭代方式調整所述第二透視圖像以獲得多個調整后的透視圖像。確定分別對應于所述第一透視圖像與所述調整后的透視圖像之間的對應差別的多個差值。確定自運動參數的平移向量。所述平移向量對應于所述多個差值中的一者。

還提供一種用于確定自運動參數的系統。圖像處理模塊接收第一圖像幀和第二圖像幀。圖像分割模塊選擇所述第一圖像幀的一部分和所述第二圖像幀的一部分來分別獲得第一子圖像和第二子圖像。圖像變換模塊對所述第一子圖像和所述第二子圖像執行對應變換，以分別獲得第一透視圖像和第二透視圖像。運動補償模塊調整所述第二透視圖像以獲得調整后的透視圖像。圖像差別模塊確定對應于所述第一透視圖像與所述調整后的透視圖像之間的差別的差值。自運動參數確定模塊以迭代方式獲得分別對應于所述第一透視圖像與多個調整后的透視圖像之間的對應差別的多個差值。所述自運動參數確定模塊也確定自運動參數的平移向量。所述平移向量對應于所述多個差值中的一者。

附圖說明

通過參考以下附圖可以更好地理解本發明。附圖中的組件未必是按比例繪制，而重點在于說明本發明的原理。在諸圖中，相同參考數字貫穿不同視圖指代相應部件。

圖1是自運動估計系統的實施形式的實施例。

圖2是圖像幀對的實施例。

圖3是圖2的示例圖像幀對的對應俯視透視圖像。

圖4是在尚未執行運動補償的情況下圖3的俯視透視圖像的差別圖像。

圖5是在已執行運動補償的情況下圖3的俯視透視圖像的差別圖像。

圖6是用于確定自運動參數的示例方法步驟的流程圖。

具體實施方式

所描述的系統和方法可以用來確定相機的自運動參數。將在相機安裝到車輛的背景下以舉例方式描述所述系統和方法，所述相機捕獲描繪車輛移動路徑的圖像幀。然而，應理解，此申請中的教示可以應用于以相對較低的速度移動的任何裝備有相機的移動機器(例如，車輛、移動式機器人等)。在所示出的實施例中，相對較低的移動速度可以是大約10公里每小時(km/h)至20km/h，或大約6.2英里每小時(mph)至12.4mph。

自運動參數是指相機的行進距離和方向，即，相機沿著水平和垂直移動路徑移動了多遠以及在哪個方向上移動。所述水平和垂直移動路徑可以分別對應于x軸和y軸。因此，在此實施例中，自運動參數包括平移向量(t_x，t_y)，該平移向量包括水平分量t_x和垂直分量t_y。水平分量t_x和垂直分量t_y分別界定沿著水平軸x和垂直軸y的平移(以圖像像素為單位)。自運動參數也可以包括旋轉角度θ。在計算機視覺應用中，可以估計自運動參數作為預備步驟，所述計算機視覺應用諸如相機輔助車輛導航(例如，停車、倒車、故障檢測)、自導機器人導航、位姿估計和三維場景重建。