[發明專利]基于雙目相機的空間定位方法及裝置

有效

• 申請號: 201710859338.6
• 申請日: 2017-09-21
• 公開（公告）號: CN107705333B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 李舜銘;戴天榮;任玉川;曹進喜;宋浩冉
• 申請（專利權）人: 歌爾股份有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/55
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

1.一種基于雙目相機的空間定位方法，其特征在于，包括：

獲取雙目相機在第一時刻采集到的第一幀圖像；

對從所述第一幀圖像中提取出的第一特征點進行三維空間點重建，以得到所述第一特征點在基準坐標系下的第一三維坐標；

獲取所述雙目相機在第二時刻采集到的第二幀圖像，所述第一時刻早于所述第二時刻；

從所述第二幀圖像中提取出與所述第一特征點匹配的第二特征點，并獲取所述第二特征點在像平面坐標系下的第一二維坐標；

根據所述第一特征點的第一三維坐標及所述第二特征點的第一二維坐標，計算所述雙目相機從所述第一時刻到所述第二時刻的位姿變化；

所述第一幀圖像和第二幀圖像中包括多對相匹配的第一特征點和第二特征點；

所述根據所述第一特征點的第一三維坐標及所述第二特征點的第一二維坐標，計算所述雙目相機從所述第一時刻到所述第二時刻的位姿變化，包括：

采用預設投影矩陣計算多對相匹配的第一特征點和第二特征點中各第一特征點的第一三維坐標投影至所述第二幀圖像后得到的第二二維坐標；根據各第一特征點的第二二維坐標與相匹配的第二特征點的第一二維坐標的第一誤差，計算所述各第一特征點對應的第一誤差之和；若所述第一誤差之和小于或等于第二閾值，則基于所述投影矩陣確定出所述位姿變化；

若所述第一誤差之和大于第二閾值，則基于所述第一誤差之和修改所述投影矩陣中的元素值直至采用修改后的投影矩陣計算得到的第一誤差之和小于或等于第二閾值為止；并基于修改后的所述投影矩陣確定出所述位姿變化。

2.根據權利要求1所述的方法，其特征在于，所述雙目相機包括左相機和右相機，所述雙目相機采集到的所述第一幀圖像包括：左視圖像和右視圖像；以及

所述對從所述第一幀圖像中提取出的第一特征點進行三維空間點重建，以得到所述第一特征點在基準坐標系下的第一三維坐標，包括：

根據所述左視圖像和所述右視圖像，采用三角化計算方法重建所述第一特征點在相機坐標系下的第二三維坐標；

獲取所述第一時刻時所述雙目相機在基準坐標系下的位姿信息；

基于所述位姿信息，通過坐標轉換算法將所述第二三維坐標轉換為基準坐標系下的所述第一三維坐標。

3.根據權利要求2所述的方法，其特征在于，所述對從所述第一幀圖像中提取出的第一特征點進行三維空間點重建，以得到所述第一特征點在基準坐標系下的第一三維坐標，還包括：

根據所述第二三維坐標，確定所述第一特征點的深度信息；

若所述深度信息大于深度閾值，則采用反向深度參數化規則和卡爾曼濾波器對所述第二三維坐標進行優化，得到優化后的所述第二三維坐標；

并且，基于所述位姿信息，通過坐標轉換算法將所述第二三維坐標轉換為基準坐標系下的所述第一三維坐標，包括：

基于所述位姿信息，通過坐標轉換算法將優化后的所述第二三維坐標轉換為基準坐標系下的所述第一三維坐標。

4.根據權利要求1-3中任一項所述的方法，其特征在于，還包括：

獲取所述第二幀圖像的屬性信息；

基于所述屬性信息，判斷所述第二幀圖像是否為關鍵幀圖像；

若為關鍵幀圖像，則采用非線性圖優化規則對基于采集時刻早于所述第二時刻的前幀圖像計算得到的特征點三維坐標及位姿變化進行誤差修正。

5.根據權利要求1-3中任一項所述的方法，其特征在于，還包括：

啟動多線程；

由所述多線程中的第一線程執行所述三維空間點重建；

由所述多線程中的第二線程執行所述位姿變化計算，在所述第二線程執行所述位姿變化計算的同時，由所述第一線程對從采集時刻晚于所述第一時刻的圖像中提取出的特征點進行三維空間點重建。

6.根據權利要求5所述的方法，其特征在于，由所述多線程中的第一線程執行所述三維空間點重建，包括：

由第一線程下的多個子進程分別對所述第一幀圖像中提取出的多個特征點組中的特征點進行三維空間點重建。