[發明專利]基于點云預處理和ShuffleNet的移動端三維位姿估計方法

有效

• 申請號: 202110634620.0
• 申請日: 2021-06-08
• 公開（公告）號: CN113362467B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 袁景凌;俞洋;白立華;王夢蝶;李宵
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T17/20;G06T15/00;G06V10/44;G06V10/46;G06V10/75;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發明公開了一種基于點云預處理和ShuffleNet的移動端三維位姿估計方法，首先在PC端進行預處理，將目標點云數據進行三維重建并導入三維渲染引擎；在三維引擎中采用旋轉拍照算法得到目標在不同視角下的二維照片，通過本發明提出的關鍵體素塊提取算法標注照片并建立訓練數據集；采用具備輕量級高性能優勢且適用于移動端計算的ShuffleNetv2?YOLOv3訓練目標關鍵體素塊檢測模型；從移動端攝像頭讀取視頻流，通過ShuffleNetv2?YOLOv3模型檢測目標關鍵體素塊，將關鍵體素塊中心點對應的2D?3D點對通過RANSAC和EPNP算法計算得到目標的相對位姿。最后利用移動端優勢通過內置IMU和GPS提供的數據計算目標在實際三維世界中的位姿。

技術領域

本發明屬于計算機技術領域，涉及一種基于點云預處理和ShuffleNet的移動端三維位姿估計方法，可以廣泛應用于機器人抓取、車輛智能導航、增強現實和醫學診斷等領域。

背景技術

三維位姿估計在機器人抓取、車輛智能導航、增強現實和醫學診斷等領域中起著十分關鍵的作用。目前主流位姿估計方法分為兩大類，一類是基于二維圖像的識別方法，這種方法對輸入的RGB或RGB-D圖像預測物體的1個中心點和8個角點，然后通過PNP或EPNP算法得到物體的6D姿態。該類算法實時性較好但準確度較低。另一類則基于點云數據進行定位，這種方法首先使用深層網絡在3D點云數據與2D圖像之間建立對應關系，然后通過PNP或EPNP算法得到物體的6D姿態。由于使用了點云數據，因此精度比第一類更高，但比較而言速度更低。

手機移動端具有普及率高攜帶方便的優點，但由于硬件配置遠低于PC，采用常規算法識別速度難以滿足要求。而配置需要外接的激光雷達和深度攝像頭將削弱其便攜優勢，移動端只能采用RGB視頻流識別方案，導致位姿分析的準確度不高。

發明內容

本發明主要針對移動端在輔助工業應用領域對目標位姿估計的需求，提供了一種基于點云預處理和ShuffleNet的移動端三維位姿估計方法。

本發明所采用的設計方案是：一種基于點云預處理和ShuffleNet的移動端三維位姿估計方法，包括以下步驟：

步驟1：對激光掃描得到的目標點云數據進行三維重建；將三維重建獲得的三維模型導入渲染引擎以供拍照；

步驟2：采用定位旋轉拍照算法分別獲取目標在不同視角下的二維照片及相機位姿；通過SIFT提取二維照片特征點并計算對應三維特征點，將目標模型劃分為大小相等的體素塊，根據三維特征點數量篩選目標關鍵體素塊；生成關鍵體素塊在照片集上的二維投影并建立訓練數據集；通過ShuffleNetv2-YOLOv3輕量級網絡訓練針對目標的ShuffleNet特征檢測模型；

步驟3：將視頻流輸入訓練好的ShuffleNetv2-YOLOv3目標關鍵體素塊的檢測模型，識別關鍵體素塊得到2D-3D匹配點對，結合RANSAC和EPNP算法計算目標相對位姿；

步驟4：結合移動端GPS和IMU信息計算目標在三維世界中的絕對位姿。

本發明結合兩類三維位姿估計算法的優點，首先在PC端進行預處理。為目標點云數據通過Delaulay算法重建三維模型。本發明采用定位旋轉拍照和關鍵體素塊提取算法自動生成目標體素特征檢測數據集，采用具備輕量級高性能優勢適用于移動端計算的ShuffleNetv2-YOLOv3訓練特征檢測模型。

本發明在識別階段充分利用移動端硬件設備優勢，引入GPS和IMU數據定位移動端位姿。通過訓練好的ShuffleNetv2-YOLOv3模型檢測目標關鍵體素塊，再采用RANSAC和EPNP算法計算得到目標的與移動端攝像頭間的相對位姿。最后計算出目標在三維世界的絕對位姿。在手機移動端普及率超90％的今日，本發明能在移動端提供不依賴于深度攝像頭和激光設備，實時性和準確度達到工業輔助應用要求的位姿估計，具有便攜實用易推廣的優勢。

附圖說明