[發明專利]姿態估計方法及裝置、電子設備和存儲介質

在審

• 申請號: 202010176868.2
• 申請日: 2020-03-13
• 公開（公告）號: CN111401230A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王靖博;林達華;顏思捷;熊元俊
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種姿態估計方法，其特征在于，包括：

對待處理圖像幀序列在時間維度上進行降維，確定不同時間尺度的多個第一特征圖序列；

根據所述不同時間尺度的多個第一特征圖序列，確定所述待處理圖像幀序列中各待處理圖像幀對應的姿態特征；

對所述各待處理圖像幀對應的姿態特征進行數據處理，確定各待處理圖像幀對應的預測三維姿態。

2.根據權利要求1所述的方法，其特征在于，所述對待處理圖像幀序列在時間維度上進行降維，確定不同時間尺度的多個第一特征圖序列，包括：

利用二維姿態估計算法對所述待處理圖像幀序列進行數據處理，確定所述待處理圖像幀序列對應的二維姿態數據；

對所述二維姿態數據在時間維度上進行降維，確定所述不同時間尺度的多個第一特征圖序列。

3.根據權利要求2所述的方法，其特征在于，所述對所述二維姿態數據在時間維度上進行降維，確定所述不同時間尺度的多個第一特征圖序列，包括：

根據所述二維姿態數據，通過在時間維度上執行多次下采樣操作，確定所述不同時間尺度的多個第一特征圖序列。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述根據所述不同時間尺度的多個第一特征圖序列，確定所述待處理圖像幀序列中各待處理圖像幀對應的姿態特征，包括：

根據所述不同時間尺度的多個第一特征圖序列，確定目標時間尺度下的多個第二特征圖序列，其中，所述目標時間尺度為所述待處理圖像幀序列對應的時間尺度；

將所述目標時間尺度下的多個第二特征圖序列進行特征融合，確定所述各待處理圖像幀對應的姿態特征。

5.根據權利要求4所述的方法，其特征在于，所述根據所述不同時間尺度的多個第一特征圖序列，確定目標時間尺度下的多個第二特征圖序列，包括：

根據所述不同時間尺度的多個第一特征圖序列，通過在時間維度上執行多次上采樣操作，確定不同時間尺度的多個第三特征圖序列；

針對任一時間尺度，將該時間尺度下的第一特征圖序列和第三特征圖序列進行特征融合，確定該時間尺度下的第四特征圖序列；

針對不同時間尺度下的第四特征圖序列執行上采樣操作，確定所述目標時間尺度下的多個第二特征圖序列。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述姿態估計方法通過姿態估計神經網絡實現。

7.根據權6所述的方法，其特征在于，所述姿態估計神經網絡的訓練樣本包括所述待處理圖像幀序列和各待處理圖像幀對應的參考三維姿態；

所述方法還包括：

根據所述預測三維姿態和所述參考三維姿態，確定第一估計損失；

至少根據所述第一估計損失，訓練所述姿態估計神經網絡。

8.根據權利要求7所述的方法，其特征在于，所述訓練樣本中還包括各待處理圖像幀之間的參考運動特征；

所述至少根據所述第一估計損失，訓練所述姿態估計神經網絡，包括：

對各待處理圖像幀對應的預測三維姿態進行運動編碼，確定各待處理圖像幀之間的預測運動特征；

根據所述預測運動特征和所述參考運動特征，確定第二估計損失；

根據所述第一估計損失和所述第二估計損失，訓練所述姿態估計神經網絡。