[發明專利]一種姿態估計方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010567738.1
• 申請日: 2020-06-19
• 公開（公告）號: CN113822102A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 王再冉;郭小燕
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/08
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本申請實施例提供一種姿態估計方法、裝置、電子設備及存儲介質，涉及計算機視覺技術領域，可以提高獲取姿態信息的準確度和魯棒性。該方法包括：獲取包含目標物體的目標圖像；對目標圖像進行特征提取，得到目標物體的姿態特征和關鍵特征，關鍵特征包括關鍵點特征和邊緣輪廓特征中的至少一個；根據姿態特征和關鍵特征，得到目標物體的姿態信息。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種姿態估計方法、裝置、電子設備及存儲介質。

背景技術

物體姿態估計作為計算機視覺領域中的一個非常重要的環節，在機器人領域(例如，機械臂抓取)、增強現實(Augmented Reality，AR)/虛擬現實(Virtual Reality，VR)領域、無人駕駛領域、物體追蹤領域和建模領域等也有著重要的影響。物體姿態估計就是指計算目標物體和相機之間的變換矩陣，即姿態信息，目前獲取姿態信息的方法主要分為兩種，一種是從二維(Two Dimensional，2D)圖像中提取局部特征或目標物體區域，該2D圖像包括目標物體的圖像特征，再結合目標物體的三維(Three Dimensional，3D)空間信息求解姿態信息；另一種是利用彩色圖像和其對應的姿態信息來訓練神經網絡，再用訓練后的神經網絡從目標物體的彩色圖像中獲取目標物體的姿態信息。

然而，對于弱紋理目標物體，由于其圖像提供的信息有限，無法保證提取出足夠有效的局部特征或目標物體區域來求解姿態信息，神經網絡也無法準確獲取到弱紋理目標的姿態信息，因此可知上述相關方法的準確度和魯棒性都較差。

發明內容

本申請實施例提供一種姿態估計方法、裝置、電子設備及存儲介質，可以提高獲取姿態信息的準確度和魯棒性。

為實現上述技術目的，本申請實施例采用如下技術方案：

第一方面，本申請實施例提供了一種姿態估計方法，該方法包括：獲取包含目標物體的目標圖像；對目標圖像進行特征提取，得到目標物體的姿態特征和關鍵特征，關鍵特征包括關鍵點特征和邊緣輪廓特征中的至少一個；根據姿態特征和關鍵特征，得到目標物體的姿態信息。

在一種可能的實施方式中，所述姿態特征為姿態特征圖，所述關鍵特征為關鍵特征圖。所述對目標圖像進行特征提取，得到目標物體的姿態特征和關鍵特征，包括：將目標圖像輸入特征提取網絡，得到目標物體的基礎屬性；基礎屬性用于表征目標物體在目標圖像中的表面結構信息；將基礎屬性分別輸入姿態特征提取網絡和關鍵特征提取網絡，得到姿態特征圖、關鍵特征圖。

另一種可能的實施方式中，關鍵特征圖包括關鍵點特征圖和邊緣輪廓特征圖；關鍵特征提取網絡包括關鍵點檢測網絡和邊緣輪廓檢測網絡。所述將基礎屬性分別輸入姿態特征提取網絡和關鍵特征提取網絡，得到姿態特征圖、關鍵特征圖，包括：將基礎屬性分別輸入姿態特征提取網絡、關鍵點檢測網絡和邊緣輪廓檢測網絡，得到姿態特征圖、關鍵點特征圖和邊緣輪廓特征圖。

另一種可能的實施方式中，所述根據姿態特征和關鍵特征，得到目標物體的姿態信息，包括：對姿態特征圖和關鍵特征圖進行拼接，得到組合特征圖；將組合特征圖輸入姿態識別網絡，得到姿態信息。

另一種可能的實施方式中，在所述對目標圖像進行特征提取，得到目標物體的姿態特征和關鍵特征之前，該方法還包括：獲取初始姿態檢測模型；再獲取樣本圖像、樣本姿態信息和樣本關鍵信息；然后，將樣本圖像作為輸入樣本、將樣本關鍵信息和樣本姿態信息作為輸出樣本，對初始姿態檢測模型進行訓練，得到姿態檢測模型；初始姿態檢測模型包括初始特征提取網絡、初始姿態特征提取網絡、初始關鍵特征提取網絡和初始姿態識別網絡。其中，樣本姿態信息表示樣本圖像中的樣本物體的姿態信息；樣本關鍵信息表示樣本圖像中的樣本物體的關鍵點位置和邊緣輪廓中至少一個；姿態檢測模型包括特征提取網絡、姿態特征提取網絡、關鍵特征提取網絡和姿態識別網絡。