[發明專利]三維重建方法、裝置、設備以及存儲介質

在審

• 申請號: 202011372419.1
• 申請日: 2020-11-30
• 公開（公告）號: CN112489102A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 梁柏榮;洪智濱;郭知智
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T17/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種三維重建方法，包括：

獲取目標的RGBD圖像序列；

對于所述RGBD圖像序列中的RGBD圖像，確定所述目標在所述RGBD圖像上的第一三維關鍵點集合；

將所述第一三維關鍵點集合轉移到相機坐標系下，得到所述目標在所述相機坐標系下的第二三維關鍵點集合；

基于所述第二三維關鍵點集合，計算所述RGBD圖像的歐拉角；

基于歐拉角選取RGBD圖像；

基于選取出的RGBD圖像進行目標三維重建，得到所述目標的三維模型。

2.根據權利要求1所述的方法，其中，所述RGBD圖像包括RGB圖像和深度圖像；以及

所述確定所述目標在所述RGBD圖像上的第一三維關鍵點集合，包括：

對所述RGB圖像進行關鍵點檢測，得到所述目標在所述RGB圖像上的二維關鍵點集合；

將所述RGB圖像與所述深度圖像對齊，得到所述第一三維關鍵點集合。

3.根據權利要求2所述的方法，其中，所述對所述RGB圖像進行關鍵點檢測，得到所述目標在所述RGB圖像上的二維關鍵點集合，包括：

利用關鍵點檢測模型對所述RGB圖像進行關鍵點檢測，得到所述二維關鍵點集合。

4.根據權利要求1所述的方法，其中，所述RGBD圖像還包括相機參數；以及

所述將所述第一三維關鍵點集合轉移到相機坐標系下，得到所述目標在所述相機坐標系下的第二三維關鍵點集合，包括：

基于所述相機參數，通過逆透視投影將所述第一三維關鍵點集合轉移到相機坐標系下，得到所述第二三維關鍵點集合。

5.根據權利要求4所述的方法，其中，所述基于所述相機參數，通過逆透視投影將所述第一三維關鍵點集合轉移到相機坐標系下，得到所述第二三維關鍵點集合，包括：

從所述相機參數中獲取相機焦距和相機光心；

利用所述相機焦距、所述相機光心與所述第一三維關鍵點集合中的三維關鍵點的深度值進行逆透視投影，得到所述第二三維關鍵點集合。

6.根據權利要求1所述的方法，其中，所述基于所述第二三維關鍵點集合，計算所述RGBD圖像的歐拉角，包括：

通過奇異值分解的方法計算所述RGBD圖像序列中的相鄰RGBD圖像對應的第二三維關鍵點集合之間的轉移關系，其中，所述轉移關系包括旋轉矩陣、平移參數和縮放因子；

根據所述旋轉矩陣計算所述相鄰RGBD圖像之間的相對歐拉角；

基于所述相對歐拉角，計算所述RGBD圖像的絕對歐拉角。

7.根據權利要求6所述的方法，其中，所述基于歐拉角選取RGBD圖像，包括：

基于絕對歐拉角，等角度間隔選取RGBD圖像。

8.根據權利要求1所述的方法，其中，在所述基于所述第二三維關鍵點集合，計算所述RGBD圖像的歐拉角之前，還包括：

利用隨機抽樣一致性算法對所述第二三維關鍵點集合進行過濾。

9.根據權利要求8所述的方法，其中，所述利用隨機抽樣一致性算法對所述第二三維關鍵點集合進行過濾，包括：

從所述第二三維關鍵點集合中選取預設數目的第二三維關鍵點，生成第二三維關鍵點子集合；

計算所述RGBD圖像序列中的相鄰RGBD圖像對應的第二三維關鍵點子集合的變換矩陣；

計算所述第二三維關鍵點集合中的第二三維關鍵點與所述變換矩陣的投影誤差，以及將投影誤差小于預設閾值的第二三維關鍵點加入內點集；

基于所述內點集，對所述第二三維關鍵點集合進行過濾。