[發明專利]一種實時高效的6D姿態估計網絡、構建方法及估計方法

在審

• 申請號: 202011430902.0
• 申請日: 2020-12-09
• 公開（公告）號: CN112561995A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 劉鵬磊;張鍥石;程俊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/08;G06N3/04
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

本發明公開了一種實時高效的6D姿態估計網絡、構建方法及估計方法，屬于計算機視覺技術領域，涉及6D姿態估計領域，利用多向特征融合金字塔網絡MFPN用于將特征進行融合和表達，多向特征融合金字塔網絡MFPN可以有效的表示和處理多尺度特征，并且能夠有效處理遮擋和背景復雜的情況，以跨階段局部網絡CSPNet作為基本模塊，并融合YOLO框架，構建了一個能夠有效提取特征的骨干網絡，然后與多向特征融合金字塔網絡MFPN相結合，最終設計了用于6D姿態估計的新網絡MFPN?6D，可以有效解決物體紋理不足和遮擋問題，提高了模型的預測精度和計算速度，也增強了魯棒性。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種實時高效的6D姿態估計網絡、構建方法及估計方法。

背景技術

6D姿態估計是指估計相機坐標系下物體的6D位姿，即3D位置和3D姿態，此時原始物體本身的坐標系可以看作是世界坐標系，也即得到原始物體所在世界系到相機系的R T變換。剛體是指物體不會發生形變。剛體的6D位姿估計的意義在于能夠獲得物體的精確姿態，支撐對于物體的精細操作，主要應用于機器人抓取領域和增強現實領域。6D姿勢估計的最新研究趨勢是訓練一個深度神經網絡，以直接從圖像中預測3D關鍵點的2D投影位置，建立對應關系，最后使用Pespecctive-n-Point(PnP)算法進行姿勢估計。姿態估計當前面臨的挑戰是，當物體紋理少，存在遮擋和場景混亂的情況時，檢測精度將降低，并且現有的大多數計算模型較大且不能滿足實時要求。

相關技術的6D姿態估計方法主要分為兩種：基于深度信息(RGB-D)或基于圖像信息(RGB)。盡管當前使用RGB-D相機進行姿勢估計的方法很可靠，但深度相機僅適用于室內場景和電力不足的情況。相反，RGB攝像機適用于更大范圍的場景并節省電量。在基于圖像領域內，對物體的6D姿態估計算法有以關鍵點匹配和邊緣匹配的方法，雖然可以有效處理紋理豐富的物體，但是無法處理無紋理或者紋理很少的物體。為了解決這個問題，最近在姿勢估計中使用了基于深度學習的方法。例如：BB8和PVNet，這些算法通過訓練深度神經網絡來預測2D-3D對應關系，并通過PnP算法進一步求解姿勢。盡管它們已經取得了良好的性能，但是這些方法要么需要后期處理階段，并且很難做到實時性要求。一些算法在速度方面已經取得了不錯的結果，例如：YOLO-6D，但是該方法對處理存在遮擋的物體和小物體時效果很差。

因此，相關技術關于6D姿態估計研究存在的缺點有以下兩個方面：當目標物體紋理少，存在遮擋和復雜場景的情況時，會導致檢測精度降低，甚至無法檢測；現有的大多數計算方法所需要的參數量很大，導致了模型較大，并且大多無法滿足實時性要求。

發明內容

為了解決現有技術中的問題，本發明提供了一種實時高效的6D姿態估計網絡、構建方法及估計方法，能夠有效地解決當物體表面紋理不足或者有其他物體遮擋目標物體的問題，在提高檢測精度的同時兼顧速度，并且擁有較高的魯棒性。

為了實現以上目的，本發明提供了一種實時高效的6D姿態估計網絡，包括多向特征融合金字塔網絡和骨干網絡，所述多向特征融合金字塔網絡和所述骨干網絡相組合形成所述6D姿態估計網絡，所述多向特征融合金字塔網絡用于將特征進行融合和表達，所述骨干網絡用于特征提取。

進一步地，所述多向特征融合金字塔網絡包括殘差結構，所述殘差結構融合到所述多向特征融合金字塔網絡的前向傳播和垂直傳播中。

進一步地，所述骨干網絡以CSPNet網絡作為基礎模塊，并融合YOLO框架。

進一步地，所述6D姿態估計網絡的總數據集包括LINEMOD標準數據集和Occluded-LINEMOD標準數據集，所述6D姿態估計網絡在所述LINEMOD標準數據集和所述Occluded-LINEMOD標準數據集上進行訓練和驗證。