[發明專利]基于場景坐標回歸網絡的視覺重定位方法、系統、裝置

有效

• 申請號: 202110548049.0
• 申請日: 2021-05-19
• 公開（公告）號: CN113269831B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 曹志強;管培育;譚民;李忠輝;亢晉立;顧農
• 申請（專利權）人: 北京能創科技有限公司;中國科學院自動化研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T3/40;G06T11/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于服務機器人技術領域，具體涉及一種基于場景坐標回歸網絡的視覺重定位方法、系統、裝置，旨在解決基于場景坐標回歸網絡的視覺重定位方法難以適應大的相機視角變化的問題。本發明方法包括：獲取服務機器人周圍環境的原始彩色圖像；構建第一坐標圖、第二坐標圖及距離圖；通過特征提取得到源特征圖；對源特征圖進行特征變換；將變換后的特征圖與源特征圖相加，并通過回歸器回歸得到3D坐標圖和不確定性圖；獲取2D像素坐標圖，并基于不確定性圖對3D坐標圖和2D像素坐標圖進行過濾；通過PnP算法獲取服務機器人的位姿，實現服務機器人的視覺重定位。本發明提高了基于場景坐標回歸網絡的視覺重定位方法對大的相機視角變化的魯棒性。

技術領域

本發明屬于服務機器人技術領域，具體涉及一種基于場景坐標回歸網絡的視覺重定位方法、系統、裝置。

背景技術

近年來，隨著人工智能、傳感技術、計算處理等技術的迅猛發展，服務機器人也朝著智能化方向發展，其中，機器人定位是完成任務的前提，這就需要機器人通過自身攜帶的傳感器(例如視覺傳感器即相機)確定自己的當前位置。對于基于視覺的機器人定位來說，在機器人運動過程中，有時會出現定位失敗的情況，此時，可以根據事先構建好的環境地圖和相機在當前時刻獲取的圖像信息對機器人進行重新定位(即視覺重定位)。為了保障機器人任務執行的質量，視覺重定位方法受到普遍關注。視覺重定位一般分為三類：基于特征匹配的方法、基于場景坐標回歸的方法和直接位姿回歸方法。基于特征匹配的方法通過特征點提取和描述、特征匹配來獲得特征點像素坐標和場景中3D點的2D-3D對應關系，再通過PnP算法求解出機器人位姿；但是該方法主要適合特征較為豐富的環境，在特征較少的弱紋理區域或者特征區分性較弱的重復紋理區域效果較差。基于場景坐標回歸的方法利用隨機森林或者神經網絡直接逐像素回歸出稠密的3D坐標，從而獲得2D-3D匹配對，然后通過PnP算法求解機器人位姿，該類方法避免了特征點提取和描述這一過程，在中小規模環境下可以實現較高的重定位精度。直接位姿回歸方法通過神經網絡直接回歸出當前時刻采集圖像所對應的位姿，由于沒有顯式利用攝影幾何知識，該類方法獲得的重定位精度較低。

近年來隨著卷積神經網絡(CNN)的發展，基于場景坐標回歸的方法逐漸采用卷積神經網絡逐像素回歸出稠密的3D坐標，此稱之為基于場景坐標回歸網絡的視覺重定位。卷積神經網絡通常采用卷積層和非線性激活函數(例如ELU、ReLU等激活函數)的結構，由于卷積層采用固定的卷積核結構，這使得卷積特征對于大的相機視角變化引起的圖像變換不具有內在的不變性，為此，現有的場景坐標回歸網絡通常使用數據增強加以緩解，但是數據增強方案不能完全模擬現實環境下的圖像變換。如何設計一種對大的相機視角變化具有較好魯棒性的場景坐標回歸網絡，進而提升視覺重定位的質量仍有待于進一步研究。

因此，如何提出一種解決上述問題的方案是本領域技術人員目前需要解決的問題。

發明內容

為了解決現有技術中的上述問題，即為了解決現有基于場景坐標回歸網絡的視覺重定位方法難以適應大的相機視角變化的問題，本發明提出一種基于場景坐標回歸網絡的視覺重定位方法，包括以下步驟：

步驟S100，服務機器人通過相機獲取周圍環境的原始彩色圖像；

步驟S200，基于所述原始彩色圖像，構建三個維度為H×W×1的張量，對第一個張量中(n,m,0)位置處的值用m填充，構成第一坐標圖；對第二個張量中(n,m,0)位置處的值用n填充，構成第二坐標圖；對第三個張量中(n,m,0)位置處的值用該位置與坐標原點的歐式距離進行填充，構成距離圖；其中，n＝0,1,…,H-1，m＝0,1,…,W-1，H和W分別為原始彩色圖像的高度和寬度；

步驟S300，將原始彩色圖像與構建的第一坐標圖、第二坐標圖以及距離圖拼接起來，并送入場景坐標回歸網絡的特征提取器進行特征提取，得到源特征圖；

步驟S400，通過所述場景坐標回歸網絡的特征變換器對所述源特征圖進行特征變換，得到變換后的特征圖；