[發(fā)明專利]一種增強現(xiàn)實設備與移動機器人的配準方法

有效

• 申請?zhí)枺?/td>: 201911252543.1
• 申請日: 2019-12-09
• 公開（公告）號: CN111179341B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設計）人: 陳霸東;張倩;楊啟航;李炳輝;張璇;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T3/00;G06V10/46;G06V10/74;G06T19/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

本發(fā)明公開了一種增強現(xiàn)實設備與移動機器人的配準方法，獲得當前場景的2D圖像及點云數(shù)據(jù)；獲取當前場景的2D圖像，并獲取此時設備的位姿；對上述獲得的兩張2D圖像進行特征提取和特征匹配；計算對應點云數(shù)據(jù)，獲得混合現(xiàn)實設備圖像的2D特征點與深度相機3D點的對應值；求解3D到2D點對的運動；利用PnP方法求解出深度相機到混合現(xiàn)實設備的變換矩陣；以移動機器人基座為基準點得到三維坐標，轉換到混合現(xiàn)實設備的世界坐標系中的轉換矩陣P2；本發(fā)明使用圖像特征點和點云數(shù)據(jù)，對混合現(xiàn)實設備與可移動機器人進行配準，在配準完成后，虛擬物體的位姿可以根據(jù)實際環(huán)境和設備狀態(tài)進行實時調整，使機器反饋與人的感官相融合，給用戶更加自然的使用體驗。

【技術領域】

本發(fā)明屬于圖像數(shù)據(jù)處理領域，涉及一種增強現(xiàn)實設備與移動機器人的配準方法。

【背景技術】

混合現(xiàn)實(Mixed Reality,MR)是一種將虛擬世界和真實世界進行融合，使真實和虛擬的物體能夠同時存在并進行實時交互的技術。使用混合現(xiàn)實可以使用戶的主觀體驗更為自然，混合現(xiàn)實與真實世界緊密聯(lián)系的特點，使其在教育、醫(yī)療、游戲等領域有廣泛的應用價值。

混合現(xiàn)實技術提供了一種與環(huán)境進行直接、自然反饋的方式，因而考慮使用混合現(xiàn)實技術替代移動機器人上的傳統(tǒng)屏幕顯示，使用戶不需要使用屏幕就能獲知機器人狀態(tài)，并且可以通過與環(huán)境的互動控制機器人，提高用戶的舒適度。

目前為止，混合現(xiàn)實技術與環(huán)境進行實時結合一般有兩種方式。一種是通過手動或者設置視覺標記的方法將虛擬物體放置在需要的位置，虛擬物體的位置不能根據(jù)空間環(huán)境的變化進行調整；另一種是在場景中設置視覺標記，該標記必須同時出現(xiàn)在深度相機和混合現(xiàn)實設備視野中才能夠實現(xiàn)相機與混合現(xiàn)實設備的配準。這兩種方式使用繁瑣、不夠靈活，不適合變化頻繁的場景，限制了混合現(xiàn)實技術的應用范圍。

【發(fā)明內容】

本發(fā)明的目的在于解決現(xiàn)有技術中的問題，提供一種增強現(xiàn)實設備與移動機器人的配準方法，移動機器人帶有一個能夠獲取RGBD數(shù)據(jù)的相機。

為達到上述目的，本發(fā)明采用以下技術方案予以實現(xiàn)：

一種增強現(xiàn)實設備與移動機器人的配準方法，包括以下步驟：

步驟1，使用移動機器人上的深度相機，獲得當前場景的2D圖像及點云數(shù)據(jù)；

步驟2，使用混合現(xiàn)實設備，獲取當前場景的2D圖像，并獲取此時設備的位姿T1；

步驟3，對上述獲得的兩張2D圖像進行特征提取和特征匹配，找到兩張圖像相對應的特征點；

步驟4，根據(jù)找到的特征點，計算對應點云數(shù)據(jù)，獲得混合現(xiàn)實設備圖像的2D特征點與深度相機3D點的對應值；

步驟5，根據(jù)得到的2D和3D特征點，求解3D到2D點對的運動；利用PnP方法求解出深度相機到混合現(xiàn)實設備的變換矩陣T2；

步驟6，移動機器人基座到混合現(xiàn)實設備當前位置的轉換矩陣H：

H＝T2×T3

其中，T3為移動機器人基座到深度相機的變換矩陣；

步驟7，以移動機器人基座為基準點得到三維坐標P1，轉換到混合現(xiàn)實設備的世界坐標系中的轉換矩陣P2為：

P2＝T1×H×P1。

本發(fā)明進一步的改進在于：

步驟3中，采用SIFT算法對圖像提取SIFT特征，特征提取過程調用OpenCV中的API進行實現(xiàn)。

步驟3中，采用暴力法嘗試所有的匹配可能，得到一個最佳的匹配；特征匹配過程調用OpenCV中的API進行實現(xiàn)。

步驟5的具體方法如下：