[發明專利]從全景視頻中檢測三維物體并還原六自由度位姿的方法

在審

• 申請號: 202011188640.1
• 申請日: 2020-10-30
• 公開（公告）號: CN114445727A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 康昊;李皓翔;管理;華剛
• 申請（專利權）人: 蟲極科技（北京）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京律和信知識產權代理事務所(普通合伙) 11446
• 代理人: 郝文博

1.一種從全景視頻中檢測三維物體并還原六自由度位姿的方法，其特征在于，包括：

獲取全景視頻；

抽取所述全景視頻的關鍵幀，獲得等距長方投影圖；

利用預先訓練的檢測器網絡模型和所述等距長方投影圖，獲取所述關鍵幀中包含的物體的六自由度位姿。

2.根據權利要求1所述的方法，其特征在于，所述獲取全景視頻，包括：

獲取來自移動全景相機的所述全景視頻，所述移動全景相機包括360相機或雙魚眼全景相機。

3.根據權利要求1所述的方法，其特征在于，抽取所述全景視頻的關鍵幀，包括：

根據所述全景視頻的采集空間的采集面積大小，抽取關鍵幀。

4.根據權利要求1所述的方法，其特征在于，還包括按如下方式預先訓練所述檢測器網絡模型：

獲取訓練用全景視頻；

抽取所述訓練用全景視頻的關鍵幀，獲得訓練用等距長方投影圖；

利用所述訓練用等距長方投影圖重建點云俯視圖；

結合所述點云俯視圖在所述訓練用等距長方投影圖上標注物體；

獲取所述物體的三維空間信息；

將所述等距長方投影圖和所述三維空間信息作為訓練數據，訓練檢測網絡，得到所述檢測器網絡模型。

5.根據權利要求4所述的方法，其特征在于，利用所述訓練用等距長方投影圖重建點云俯視圖，包括：

借助SfM算法，利用抽取所述訓練用全景視頻的關鍵幀，重建所述全景視頻的采集空間點云。

6.根據權利要求4所述的方法，其特征在于：

所述三維空間信息包括所述物體的三維包圍框信息，所述三維包圍框信息包括三維包圍框的中心點以及三維包圍框正面法向量與相機視軸的夾角。

7.根據權利要求4所述的方法，其特征在于：

所述標注物體包括標注物體的平面位置、寬度和類型。

8.根據權利要求4所述的方法，其特征在于，獲取所述物體的三維空間信息，包括：

根據所述物體的空間位置和尺寸信息獲得相機坐標系下的三維空間信息。

9.根據權利要求4所述的方法，其特征在于：

所述檢測器網絡包括CenterNet。

10.根據權利要求1所述的方法，其特征在于，獲取所述關鍵幀中包含的物體的六自由度位姿，包括：

利用所述檢測器網絡模型，獲得所述物體的三維空間信息；

獲取與所述關鍵幀相應的相機位姿；

根據所述三維空間信息和所述相機位姿，獲得所述關鍵幀中包含的物體的六自由度位姿。

11.根據權利要求10所述的方法，其特征在于，獲取與所述關鍵幀相應的相機位姿，包括：

借助SfM算法，利用抽取所述全景視頻的關鍵幀，計算每一關鍵幀對應的相機位姿。

12.根據權利要求10所述的方法，其特征在于，還包括：

對多個關鍵幀中包含的同一物體的六自由度位姿進行融合，得到所述物體的統一六自由度位姿。

13.根據權利要求12所述的方法，其特征在于，所述對多個關鍵幀中包含的同一物體的六自由度位姿進行融合，包括：

利用相機參數，將多組同一物體的所述六自由度位姿對應的三維包圍框投影到所述等距長方投影圖中，獲得所述物體的多組投影框；

對多組投影框使用NMS算法，消除所述多組投影框的冗余投影框，獲得最佳投影框；

利用所述最佳投影框，得到所述物體的統一六自由度位姿。