[發明專利]一種基于深度學習的單張圖像3D對象重建方法

有效

• 申請號: 201910270322.0
• 申請日: 2019-04-04
• 公開（公告）號: CN110070595B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 王雁剛;趙子萌
• 申請（專利權）人: 東南大學深圳研究院;東南大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于深度學習的單張圖像3D對象重建方法，其特征在于，包括如下步驟：

步驟1，輸入包含多對象的單張彩色圖像；所述單張彩色圖像包含在常見視角的一個或多個指定對象；

步驟2，利用預訓練的區域候選子網絡，輸出該單張彩色圖像中包含指定對象的各個候選子區域；

步驟3，將各個候選子區域作為輸入，并行送入形狀-姿態預測子網絡；

步驟4，形狀-姿態預測子網絡根據輸入的候選子區域，預測出各個指定對象在三維空間中的形狀參數和姿態參數；具體包括如下內容：

設全局圖像的內參矩陣為K_c，RoI相機的內參矩陣為K_r：

其中，f_x，f_y為相機的焦距，f_w，f_h為Resize之后的RoI寬度、高度，r_w，r_h為Resize之前的RoI在原圖中的寬度、高度；

設對齊矩陣為R_C：

Ψ表示對齊操作，C是RoI中心相對于原圖中心的相對旋轉量，由如下公式估計得到：

其中，是C的估計值，(x_C，y_c)是原圖中心的坐標，(x_r，y_r)是RoI在原圖中的左上角坐標，(w_r，h_r)是RoI在原圖中的寬度、高度；

對于兩個同維列向量，設外積r＝p×q則定義對齊操作為：

之后即有q＝Ψ*p；

網絡在獲取到RoI之后，對RoI進行一個由以下公式定義的相機視角變換，即：

利用H_∞對RoI進行結構校正，將RoI中的原始結構信息進行重新恢復；

姿態參數包含剛性對象相對于自身坐標系三個軸的相對旋轉量，即：

v＝[θ，α，β]；

步驟5，形狀采樣子網絡根據形狀參數，解碼出對應形狀空間的點云模型；

步驟6，按照步驟4輸出的姿態參數，對生成的點云模型進行姿態參數進行剛性變換；

步驟7，輸出候選子區域所包含指定對象的結構、姿態三維重建結果。

2.根據權利要求1所述的單張圖像3D對象重建方法，其特征在于：采用端到端的方式訓練神經網絡。

3.根據權利要求1所述的單張圖像3D對象重建方法，其特征在于：步驟5中，所述形狀采樣子網為先于步驟4中預測子網絡進行訓練的3D點云模型生成網絡。

4.根據權利要求3所述的單張圖像3D對象重建方法，其特征在于：所述形狀采樣子網在結構上采用了變分自編碼器。

5.根據權利要求4所述的單張圖像3D對象重建方法，其特征在于：在訓練變分自編碼器的過程中，在網絡結構中引入對稱函數、在損失計算中引入了倒角距離與推土機距離；

所述對稱函數在對數據進行多層卷積之后，進行整個通道內取最大值的操作；

所述倒角距離的計算公式為：

其中，S₁，S₂為兩個包含點數相同的點云集合，x，y分別為S₁，S₂中的三維點坐標；

所述推土機距離的計算公式如下：

其中，S₁，S₂為兩個包含點數相同的點云集合，Φ是一個傳輸問題背景下，由S₁到S₂點集之間的一對一映射，該映射通過sinkhorn算法得到。