[發明專利]混合型3D視覺定位方法、裝置、計算機設備及存儲介質在審
| 申請號： | 202010041480.1 | 申請日： | 2020-01-15 |
| 公開（公告）號： | CN111275758A | 公開（公告）日： | 2020-06-12 |
| 發明（設計）人： | 褚英昊;吳延慶;韓飛;王永樂;秦詩瑋;王樹燚;段立武;李政峰;趙紫州 | 申請（專利權）人： | 深圳市微埃智能科技有限公司 |
| 主分類號： | G06T7/70 | 分類號： | G06T7/70;G06T7/11;G06N3/04;G06N3/08 |
| 代理公司： | 深圳市精英專利事務所 44242 | 代理人： | 于建 |
| 地址： | 518000 廣東省深圳市前海深港合*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 混合 視覺 定位 方法 裝置 計算機 設備 存儲 介質 | ||
1.一種混合型3D視覺定位方法，其特征在于，包括：
若接收到待測3D圖像，對所述待測3D圖像進行實例分割，以獲取所述待測3D圖像的實例；
通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿；
將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位。
2.根據權利要求1所述的混合型3D視覺定位方法，其特征在于，所述端到端深度學習空間目標檢測網絡為DenseFusion網絡，所述通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿，包括：
通過預設的全卷積神經網絡提取所述實例的彩色圖信息；
通過預設的點云數據深度學習模型提取所述實例的深度圖信息；
根據所述實例的彩色圖信息以及深度圖信息預測所述實例的待調整6D位姿；
通過預設的全連接網絡，對所述實例的待調整6D位姿進行微調以得到所述實例的6D位姿。
3.根據權利要求2所述的混合型3D視覺定位方法，其特征在于，所述對所述待測3D圖像進行實例分割，包括：
通過預設的端到端深度學習實例分割算法對所述待測3D圖像進行實例分割。
4.根據權利要求2所述的混合型3D視覺定位方法，其特征在于，所述通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿之前，所述方法還包括：
對所述DenseFusion網絡進行訓練。
5.根據權利要求1所述的混合型3D視覺定位方法，其特征在于，所述將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位之前，所述方法還包括：
將所述實例所在的區域從所述3D圖像中裁剪出來，并合成點云。
6.根據權利要求3所述的混合型3D視覺定位方法，其特征在于，所述點云數據深度學習模型為PointNet或者PointNet++，所述點云處理算法為點云匹配算法，所述端到端深度學習實例分割算法為YOLACT算法。
7.根據權利要求6所述的混合型3D視覺定位方法，其特征在于，所述通過預設的端到端深度學習實例分割算法對所述待測3D圖像進行實例分割之前，所述方法還包括：
對所述YOLACT算法進行訓練。
8.一種混合型3D視覺定位裝置，其特征在于，包括：
分割單元，若接收到待測3D圖像，對所述待測3D圖像進行實例分割，以獲取所述待測3D圖像的實例；
初始定位單元，通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿；
精度定位單元，將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位。
9.一種計算機設備，其特征在于，所述計算機設備包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-7中任一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時可實現如權利要求1-7中任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市微埃智能科技有限公司，未經深圳市微埃智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010041480.1/1.html，轉載請聲明來源鉆瓜專利網。
