[發(fā)明專利]一種三維重建的方法、介質(zhì)、裝置和計算設備

有效

• 申請?zhí)枺?/td>: 201810557777.6
• 申請日: 2018-06-01
• 公開（公告）號: CN109003325B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設計）人: 王加芳;劉海偉;叢林
• 申請（專利權）人: 杭州易現(xiàn)先進科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/50
• 代理公司: 北京展翅星辰知識產(chǎn)權代理有限公司 11693
• 代理人: 王文生

1.一種三維重建方法，其特征在于，包括：

獲得第一圖像，并利用神經(jīng)網(wǎng)絡對所述第一圖像進行擬合得到第一深度圖，其中所述第一深度圖包括所述第一圖像中的三維物體的尺度信息和空間距離信息；

基于所述第一圖像和所述第一圖像對應的所述第一深度圖，創(chuàng)建所述第一圖像的初始三維點云，其中包括：

對所述第一圖像和所述第一深度圖進行求解得到初始位姿；

將共視圖作為所述第一圖像的參考幀，對所述初始位姿進行優(yōu)化得到相對位姿，所述共視圖由不同視角下的多幅深度圖構成，并且所述不同視角下的多幅深度圖包括同一三維點云中點的數(shù)量達到一定閾值；

根據(jù)所述相對位姿將所述第一圖像投影至三維空間得到所述初始三維點云；

將所述初始三維點云重投影至所述共視圖得到圖像坐標；

當所述初始三維點云重投影至所述共視圖中得到的所述圖像坐標處于所述共視圖的邊界內(nèi)，則記錄所述初始三維點云在所述共視圖中為可視，并將所述初始三維點云和所述圖像坐標進行融合得到三維重建模型。

2.如權利要求1所述的方法，其特征在于，通過如下方法對所述神經(jīng)網(wǎng)絡進行訓練，其中包括：

輸入用于訓練的第二圖像和所述第二圖像對應的真值深度圖，所述真值深度圖包括所述第二圖像中的三維物體的真實尺度信息和真實空間距離信息；

利用所述神經(jīng)網(wǎng)絡對所述第二圖像進行擬合得到第二深度圖，所述第二深度圖包括基于所述第二圖像擬合出的三維物體的所述尺度信息和所述空間距離信息；

對比所述真值深度圖和所述第二深度圖，對所述神經(jīng)網(wǎng)絡進行優(yōu)化和訓練。

3.如權利要求1或2所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡的基本網(wǎng)絡結(jié)構所采用的模型為深度殘差網(wǎng)絡。

4.如權利要求1或2所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡中還包括用于估計每個像素點的深度信息的網(wǎng)絡層。

5.如權利要求1所述的方法，其特征在于，所述將所述初始三維點云重投影至共視圖得到圖像坐標，包括：

根據(jù)所述相對位姿將所述初始三維點云重投影至所述共視圖得到所述圖像坐標。

6.如權利要求1所述的方法，其特征在于，所述當所述初始三維點云重投影至所述共視圖中得到的所述圖像坐標處于所述共視圖的邊界內(nèi)，則記錄所述初始三維點云在所述共視圖中為可視，并將所述初始三維點云和所述圖像坐標進行融合得到三維重建模型，包括：

若所述圖像坐標處于所述共視圖的邊界內(nèi)，則將所述初始三維點云和所述圖像坐標進行移動加權平均得到所述三維重建模型。

7.一種三維重建裝置，其特征在于，包括：

擬合單元，用于獲得第一圖像，并利用神經(jīng)網(wǎng)絡對所述第一圖像進行擬合得到第一深度圖，其中所述第一深度圖包括所述第一圖像中的三維物體的尺度信息和空間距離信息；

創(chuàng)建單元，用于基于所述第一圖像和所述第一圖像對應的所述第一深度圖，創(chuàng)建所述第一圖像的初始三維點云，其中包括：

用于對所述第一圖像和所述第一深度圖進行求解得到初始位姿的模塊；

用于將共視圖作為所述第一圖像的參考幀，對所述初始位姿進行優(yōu)化得到相對位姿的模塊，所述共視圖由不同視角下的多幅深度圖構成，并且所述不同視角下的多幅深度圖包括同一三維點云中點的數(shù)量達到一定閾值；

用于根據(jù)所述相對位姿將所述第一圖像投影至三維空間得到所述初始三維點云的模塊；

投影單元，用于將所述初始三維點云重投影至所述共視圖得到圖像坐標；

判斷單元，用于判斷所述初始三維點云在所述共視圖中是否可視，當所述初始三維點云重投影至所述共視圖中得到的所述圖像坐標處于所述共視圖的邊界內(nèi)，則記錄所述初始三維點云在所述共視圖中為可視；

融合單元，用于若所述初始三維點云在所述共視圖中可視，則將所述初始三維點云和所述圖像坐標進行融合得到三維重建模型。