[發明專利]混合型3D視覺定位方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010041480.1
• 申請日: 2020-01-15
• 公開（公告）號: CN111275758A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 褚英昊;吳延慶;韓飛;王永樂;秦詩瑋;王樹燚;段立武;李政峰;趙紫州
• 申請（專利權）人: 深圳市微埃智能科技有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 于建

本發明實施例公開了一種混合型3D視覺定位方法、裝置、計算機設備及存儲介質。所述方法包括：若接收到待測3D圖像，對所述待測3D圖像進行實例分割，以獲取所述待測3D圖像的實例；通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿；將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位。通過將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位，從而能夠極大地提高定位精度，滿足實際生產中的高精度定位要求，提高產品的良率。

技術領域

本發明涉及視覺定位技術領域，尤其涉及一種混合型3D視覺定位方法、裝置、計算機設備及存儲介質。

背景技術

機器視覺是當前工業領域一項重要的革新技術。提高工業生產的無人化和自動化是一項非常有價值的任務，尤其是對于不適合人工作業的危險或者對健康有害的工業制造業場景中(比如焊接)。在常規有人作業中，人會通過基本感知特別是視覺方面的感知來根據實際作業特點和工件差異進行作業的靈活調整。對于缺乏視覺指引的機器臂或者自動化設備，無法有效應對實際作業中各種復雜的狀況，會導致大量的不良品產生。因此，在大批量重復性程度高的生產過程中，用機器視覺來引導機器設備可以大大提高生產的效率、準確度和自動化程度，降低不良產品率。

機器視覺在工業應用中，基于機器臂的抓取一個重要方向，主要包括上下料，分揀，裝配等。機械臂要成功抓取，需要同時識別出目標的三維空間位置及姿態共計6維姿態信息。傳統的2D識別方法難以獲取目標的空間及姿態信息，因此無法有效指引機器臂進行作業，這時候采用3d設備進行引導作業變的尤為關鍵。常見的成熟3D成像技術有雙目，結構光DLP，TOF，線掃激光等。這些視覺技術會對目標區域進行3維重構生成相應的點云圖或者深度圖。如何利用這些空間數據，從中找到目標物體并提取關鍵位姿信息是實現正確作業引導的關鍵。

目前，基于3D相機拍攝到的點云信息或RGBD圖進行物體6D姿態識別已有很多成功方法，例如機器學習法、模版匹配法、點對特征法、3D局部特征法以及端到端深度學習方法等。以上方法的預測結果總會有2-5像素級別的偏差，對應到實際現場可能誤差會有0.5-1mm，這對于焊接等要求精準的場景來說會帶來降低良品率的風險。

發明內容

本發明實施例提供了一種混合型3D視覺定位方法、裝置、計算機設備及存儲介質，旨在解決現有3D視覺定位誤差大的問題。

第一方面，本發明實施例提供了一種混合型3D視覺定位方法，其包括：

若接收到待測3D圖像，對所述待測3D圖像進行實例分割，以獲取所述待測3D圖像的實例；

通過預設的端到端深度學習空間目標檢測網絡預測所述實例的6D位姿；

將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位。

第二方面，本發明實施例還提供了一種混合型3D視覺定位裝置，其包括用于執行上述方法的單元。

第三方面，本發明實施例還提供了一種計算機設備，其包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述計算機程序時實現上述方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時可實現上述方法。

本發明實施例的技術方案，通過將所述實例的6D位姿作為點云匹配的初始位姿，并通過預設的點云處理算法對所述實例進行定位，從而能夠極大地提高定位精度，滿足實際生產中的高精度定位要求，提高產品的良率。

附圖說明