[發明專利]一種基于端到端半監督生成對抗網絡的視覺里程計的方法

有效

• 申請號: 201910349634.0
• 申請日: 2019-04-28
• 公開（公告）號: CN110335337B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 紀榮嶸;郭鋒;陳晗
• 申請（專利權）人: 廈門大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/246;G06T7/73;G06N3/04;G01C21/20;G01C22/00
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

一種基于端到端半監督生成對抗網絡的視覺里程計的方法，涉及視覺里程計算法。構建特征生成網絡；構建判別網絡；對抗訓練；解決動態場景問題。通過SIFT特征算法標注點位置信息和提取特征描述子，再利用隨機生成單應性矩陣獲得相關幀以及匹配特征點以便生成相應的訓練標簽。生成網絡能夠輸入原圖生成對應的特征點位置和相應的深度描述。判別網絡結合語義?幾何一致性損失函數，特征點交叉熵損失函數和判別損失函數與生成網絡形成對抗。通過GAN的訓練，生成網絡能夠生成使判別網絡無法區分的點位置信息和深度描述，從而避免了手動設計局部特征。

技術領域

本發明涉及視覺里程計算法，尤其是涉及一種基于端到端半監督生成對抗網絡的視覺里程計的方法。

背景技術

在過去的幾十年中，移動機器人和自動駕駛技術領域引起了全世界研究人員的廣泛關注，取得了重大進展和突破。目前，移動機器人能夠自主執行復雜的任務，比如波士頓動力學工程公司研發的機器狗已經能模仿人類做出后空翻、開門等動作。自動駕駛技術也取得了重大突破，兩年內自動駕駛汽車預計實現量產。不管是移動機器人還是自動駕駛技術都需要在復雜而動態的室內或室外環境中自動導航。為了能夠自主導航，導航載體須要在自身周邊環境中定位并同時搭建導航地圖，研究人員將這種任務稱為同時定位與地圖構建(SLAM)。近幾年，SLAM算法已應用軍事、醫療、娛樂和物聯網電器等領域。

自主導航中最主要的任務就是定位。最簡單的定位方法是使用轉速感應器來測量車輪的滾動次數，通過運動模型推測當前時刻的位置，這種方法叫做輪編碼器里程計^[1]。輪編碼器里程計雖然能夠結合運動模型和車輪轉速感應器估計載體在參考坐標系中的坐標,但是這種測距方法有一定限制。首先，它僅限于能測輪距的地面機器人；其次，由于定位是基于之前估計位置的增量式算法，測量偏差隨時間累積并導致載體姿態脫離實際位置；最后，車輪測距方法中有許多誤差源，比如車輪在不平坦的地形或光滑的地板上滑動產生的物理誤差。

為了克服輪編碼器里程計的限制，一些其他定位策略被相繼提出，例如使用慣性測量單元(IMU)、GPS、激光測距法和視覺里程計法(VO)。VO是僅使用單個或多個的視覺圖像輸入來估計本體(例如，裝有相機的車輛，人或者機器人)的運動過程。盡管VO不能解決漂移問題，但VO方法的表現明顯優于輪編碼器里程計技術，而且相機的成本遠低于IMU和LASER傳感器。VO相比于SLAM主要關注局部一致性，并且旨在遞增地估計相機姿態，并且盡可能執行局部優化。圖1左部分和右部分分別顯示了VO和SLAM的大體系統流程。對于輸入的圖像序列，VO首先采用特征檢測算法對圖像進行特征點檢測并計算特征描述子，然后利用特征描述匹配特征點，從而對幀間的相機運動進行估計，同時采用后端算法對計算出的相機運動進行局部優化，最后對三維世界進行建圖。而視覺SLAM算法則基于VO，通過回環檢測技術消除VO的累積漂移誤差，并進一步實現全局優化，在此過程中，幾何一致性為VO和全局優化算法提供約束信息，從而優化建圖的結果。

不管是視覺里程計還是SLAM算法，都可以大體分為如下幾個方向：

基于視覺特征的算法：該方法利用RGB顏色或者RGB-D信息等作為輸入，通過特征檢測提取，特征匹配，幾何一致性約束下的對極幾何方法恢復相機運動和相機姿態，再通過重投影誤差最小化優化幾何估量。目前為止，基于視覺特征的方法在VO中占據主流地位。

基于直接法：基于特征點的方法在計算關鍵點上非常耗時，其次，關鍵點只有幾百個，忽略了大部分像素點，并且在某些低紋理甚至紋理缺失的場景下性能不佳。直接法則可以不需要提取特征點和描述子，直接通過計算圖像強度值(如顏色信息)的差異來估算相機運動，使用局部強度梯度和方向來優化。由于直接法直接對圖像的強度值進行操作，因此可以節省在特征點檢測和描述子提取上的時間復雜度。