[發明專利]一種位姿確定方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011575002.5
• 申請日: 2020-12-28
• 公開（公告）號: CN112669381B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李笑寒;郭小燕
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06T3/00;G06K9/46
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱佳

本公開關于一種位姿確定方法、裝置、電子設備及存儲介質，用以高效準確地確定目標對象在視頻中的位姿，該方法為：通過獲取包含有指定的目標對象的初始位姿，第一視頻幀以及第二視頻幀，采用兩種不同的計算方式，分別針對目標對象的各個特征點進行計算，獲得目標對象的各個特征點在第一視頻幀中的第一二維坐標信息以及第二二維坐標信息，基于第一二維坐標信息和第二二維坐標信息，獲得目標對象在第一視頻幀中的目標位姿定位結果。

技術領域

本公開涉及計算機科學領域，特別涉及一種位姿確定方法、裝置、電子設備及存儲介質。

背景技術

隨著增強現實(Augmented Reality，AR)技術的發展，虛擬信息與真實世界的交互愈加頻繁。例如：在錄制趣味視頻時，在人手上添加虛擬道具。

實際應用中，為了使虛擬信息與真實世界的交互效果更加真實，需要對真實世界的人體部位、物品等等進行位姿定位。

相關技術下，通常使用的位姿定位方法包含以下兩種：

方法一：基于二維圖像的點特征和線特征，對觀測圖像幀和模板圖像幀進行匹配，獲得匹配結果，基于匹配結果，將觀測圖像中的二維點特征與二維線特征轉換為三維點特征與三維線特征，基于三維點特征與三維線特征，獲得位姿定位結果；其中，點特征為二維圖像中各個關鍵點的特征向量，線特征為二維圖像中各個關鍵線段的特征向量。

但是，采用方法一時，需要計算圖像的線特征，從而在一定程度上增加了位姿定位的計算量，降低了工作效率，且無法保證定位的準確率。

方法二：基于設定的參考圖像，獲得參考圖像中目標對象(如，人體部位或物品)的關鍵點，基于關鍵點，利用雙目攝像頭對參考圖像中的目標對象進行三維重建，基于三維重建后的目標對象的各個特征點，獲得相應的位姿定位結果。

但是，采用這種方法需要目標對象靜止不動，以便拍攝用于提取關鍵點的圖像，并且使用該方法時，必須配有雙目攝像頭，十分不便，同時使用方法二時，僅能對進行剛體運動的目標對象進行位姿定位。

因此，需要一種位姿確定方法及裝置，以解決上述問題。

發明內容

本公開實施例中，提供了一種位姿確定方法、裝置、電子設備及存儲介質，用以高效準確地對目標對象在視頻中的位姿進行定位。

本公開實施例提供的具體技術方案如下：

第一方面，一種位姿確定方法，包括：

獲取目標對象的初始位姿、第一視頻幀和第二視頻幀，所述第一視頻幀為當前視頻幀，所述第二視頻幀為與所述第一視頻幀相鄰的前一視頻幀，所述第一視頻幀和所述第二視頻幀中均包含所述目標對象；

對所述第二視頻幀中所述目標對象進行特征點提取，以及基于所述初始位姿、所述第一視頻幀和所述第二視頻幀，對提取出的各個特征點進行特征點跟蹤，獲得所述第一視頻幀中所述目標對象的各個特征點的第一二維坐標信息；

確定所述目標對象在初始位姿下對應的各個特征點在世界坐標系中的三維坐標信息，并將所述三維坐標信息重投影到所述第一視頻幀中，獲得所述第一視頻幀中所述目標對象的各個特征點的第二二維坐標信息；

基于所述第一二維坐標信息和所述第二二維坐標信息，獲得所述目標對象在所述第一視頻幀中的目標位姿。

可選的，對所述第二視頻幀中所述目標對象進行特征點提取，包括：

對所述第二視頻幀中的目標對象進行關鍵點定位處理，獲得所述目標對象包含的各個關鍵點；

將所述各個關鍵點圍成的封閉區域，確定為特征區域；

在所述特征區域中進行特征點提取處理，獲得各個特征點，其中，所述各個特征點表征在所述特征區域內的所述目標對象的位姿特征。