[發(fā)明專利]用于估計運動的方法、移動代理以及編碼有用于使得處理器執(zhí)行用于估計運動的方法的計算機程序代碼的非暫時性計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 201580044446.7
• 申請日: 2015-08-31
• 公開（公告）號: CN107077137A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設(shè)計）人: 彼得魯斯·J·L·范比克;許新玉;廖淼
• 申請（專利權(quán)）人: 夏普株式會社
• 主分類號: G05D1/02
• 分類號: G05D1/02;G01B11/00
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 唐文靜

技術(shù)領(lǐng)域

本發(fā)明的實施例總體上涉及用于運動估計的方法和系統(tǒng)，具體地，涉及用于對自身運動(ego-motion)進行基于視覺的計算的方法和系統(tǒng)。

背景技術(shù)

對車輛相對于車輛行駛的表面路徑的自身運動進行精確估計可以是用于自動駕駛和基于計算機視覺的駕駛輔助的關(guān)鍵要素。與其他傳感器相比，使用一個或更多個攝像機來計算自身運動可以允許將自身運動數(shù)據(jù)集成到其他基于視覺的算法(例如，障礙物檢測和/或回避、行人檢測和/或回避、物體檢測和/或回避以及其他基于視覺的算法)中，而不需要在傳感器之間進行校準。這可以減少維護要求和成本。僅使用來自被附接到代理(agent)(例如，車輛、人、機器人和其他移動代理)的一個或更多個攝像機的輸入來估計該代理的自身運動的過程被稱為視覺里程計(VO)。

在VO中，通過檢查由于移動代理的運動引起的在由一個或更多個機載攝像機獲得的圖像上的變化，來增量式地估計移動代理的姿態(tài)。為了使VO有效地工作，可能需要充分的環(huán)境照明和具有足夠紋理的靜態(tài)場景，以允許提取明顯的運動。此外，應(yīng)當捕獲時間連續(xù)的幀以確保充分的場景交疊。

用于提供運動估計的VO的一個優(yōu)點在于：VO不受不平坦地形和其他不利條件下的車輪滑移的影響。此外，VO可以向其他運動估計過程和系統(tǒng)(例如，全球定位系統(tǒng)(GPS)、慣性測量單元(IMU)、激光里程計和提供運動估計的其他系統(tǒng))提供重要的補充信息。此外，在拒絕GPS的環(huán)境(例如，水下、空中和可能拒絕GPS的其他環(huán)境)以及GPS信息由于例如多徑、衛(wèi)星覆蓋差和其他可靠性因素而不可靠的環(huán)境中，可能增加VO的重要性。

使用專門的視頻輸入來估計運動的許多運動估計算法假定了靜態(tài)場景。此外，使用專門的視頻輸入來估計運動的許多運動估計算法不能處理動態(tài)和/或混亂的環(huán)境或由過往車輛產(chǎn)生的較大遮擋。此外，運動估計中的特征匹配和異常值去除可能不是魯棒的，且可能隨后失敗。許多運動估計方案需要大量的關(guān)鍵點，且在缺少結(jié)構(gòu)的場景中可用的關(guān)鍵點數(shù)量有限的情況下，這些運動估計方案可能失敗。

不依賴于上述假設(shè)并克服上述限制的實時VO方法和系統(tǒng)可能是期望的。

發(fā)明內(nèi)容

本發(fā)明的一些實施例包括用于使用攝像機來估計自身運動的方法和系統(tǒng)。

根據(jù)本發(fā)明的第一方面，精確校準的攝像機可以相對于移動代理和地平面被剛性安裝在移動代理上。通過假定移動代理行駛在主要為平面狀的地平面上，從而在移動代理行駛期間的每個時刻保持固定的攝像機與地面關(guān)系，可以將移動代理在任何時刻的運動的參數(shù)表示從六個自由度簡化到三個自由度。

根據(jù)本發(fā)明的第二方面，可以從攝像機接收輸入圖像。根據(jù)本發(fā)明的第三方面，可以對接收的輸入圖像執(zhí)行特征檢測。根據(jù)本發(fā)明的第四方面，可以計算針對每個檢測到的特征的特征描述符。根據(jù)本發(fā)明的第五方面，可以在針對接收的輸入圖像計算出的特征描述符和針對先前接收的圖像計算出的特征描述符之間執(zhí)行特征匹配。根據(jù)本發(fā)明的第六方面，可以將與特征對應(yīng)關(guān)系相關(guān)聯(lián)的關(guān)鍵點從圖像坐標投影到世界坐標。根據(jù)本發(fā)明的第七方面，可以根據(jù)與特征對應(yīng)關(guān)系相關(guān)聯(lián)的世界坐標對來計算運動估計。根據(jù)本發(fā)明的第八方面，當檢測到關(guān)鍵姿態(tài)(key pose)時，可以產(chǎn)生全局坐標系下的當前攝像機姿態(tài)。根據(jù)本發(fā)明的第九方面，可以根據(jù)當前攝像機姿態(tài)確定運動軌跡。根據(jù)本發(fā)明的第十方面，可以將針對先前接收的圖像計算出的特征描述符更新為針對接收的輸入圖像計算出的特征描述符。

在結(jié)合附圖考慮本發(fā)明的以下詳細描述時，本發(fā)明的以上和其它目的、特征和優(yōu)點將更易于理解。

附圖說明

圖1是示出了本發(fā)明的示例性實施例的圖，其包括：對接收的輸入圖像執(zhí)行特征檢測；計算每個檢測到的特征的特征描述符；在針對接收的輸入圖像計算出的特征描述和針對先前接收的圖像計算出的特征描述符之間執(zhí)行特征匹配；將與特征對應(yīng)關(guān)系相關(guān)聯(lián)的關(guān)鍵點從圖像坐標投影到世界坐標；根據(jù)與所述特征對應(yīng)關(guān)系相關(guān)聯(lián)的世界坐標對計算運動估計；當檢測到關(guān)鍵姿態(tài)時，在全局坐標系下產(chǎn)生當前攝像機姿態(tài)；根據(jù)當前攝像機姿態(tài)確定運動軌跡；以及將針對先前接收的圖像計算出的特征描述符更新為針對接收的輸入圖像計算出的特征描述符；

圖2是示出了與本發(fā)明的實施例相關(guān)的多個坐標系的圖片；

圖3是示出了根據(jù)本發(fā)明示例性實施例的移動代理平臺上的示例性攝像機配置的圖片；

圖4是示出了包括基于絕對取向(基于AO)的運動估計的本發(fā)明的示例性實施例的圖表；以及

圖5是示出了包括基于正交Procrustes分析的運動估計的本發(fā)明的示例性實施例的圖表。