[發(fā)明專利]一種基于全卷積神經(jīng)網(wǎng)絡(luò)的3D建模方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111302798.1
• 申請日: 2021-11-05
• 公開（公告）號: CN114049434A
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計）人: 潘澤文;許軼博;李佳斌;范宏偉
• 申請（專利權(quán)）人: 成都艾特能電氣科技有限責(zé)任公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 陽佑虹

1.一種基于全卷積神經(jīng)網(wǎng)絡(luò)的3D建模方法，其特征在于，方法包括如下：

S1：采集目標對象的圖像數(shù)據(jù)進行預(yù)處理，構(gòu)建數(shù)據(jù)集，同時在采集數(shù)據(jù)時獲取不同采集時刻設(shè)備的位置信息數(shù)據(jù)，所述位置信息數(shù)據(jù)包括設(shè)備的姿態(tài)信息和位置信息；

S2：構(gòu)建網(wǎng)絡(luò)模型并訓(xùn)練，輸入所述圖像數(shù)據(jù)M對應(yīng)的所述位置信息數(shù)據(jù)，得到所述圖像數(shù)據(jù)每個位置的RGB值和像素密度；

S3：根據(jù)圖像數(shù)據(jù)M每個位置的所述RGB值和像素密度，對所述圖像數(shù)據(jù)進行渲染，得到渲染結(jié)果，渲染過程中采用隨機采樣的方式計算像素的積分過程，具體公式如下：

其中，I(r)為攝像機視線r上的所有像素的累積顏色值，n為該視線上的采樣點個數(shù)，l₁為視線穿過物體的距離攝像機的近端邊界，l_n為視線穿過物體的距離攝像機的遠端邊界，W(l_i)為從l₁到l_n的累積密度值，I(r,l_i)為視線r上的采樣點l_i處的圖像像素顏色值，σ(r,l_i)為r上的采樣點t處的密度值。

2.根據(jù)權(quán)利要求1所述的3D建模方法，其特征在于，數(shù)據(jù)采集通過圖像采集設(shè)備以不同角度獲取目標對象的圖像或者通過采集設(shè)備獲取目標對象的視頻數(shù)據(jù)，不同的目標對象最終獲取的不同角度圖像數(shù)量不同。

3.根據(jù)權(quán)利要求2所述的3D建模方法，其特征在于，獲取目標對象的圖像時，圍繞所述目標對象等間距獲取各角度圖像。

4.根據(jù)權(quán)利要求1所述的3D建模方法，其特征在于，所述網(wǎng)絡(luò)模型采用全卷積神經(jīng)網(wǎng)絡(luò)FCN，由卷積層、全連接層、激活層、池化層、歸一化層構(gòu)成，卷積層采用尺寸為1的卷積核。

5.根據(jù)權(quán)利要求1-4任一所述的3D建模方法，其特征在于，網(wǎng)絡(luò)模型的訓(xùn)練通過計算渲染結(jié)果與原所述圖像數(shù)據(jù)的差異，得到總體損失函數(shù)，具體過程如下：

通過所述圖像數(shù)據(jù)M與渲染結(jié)果I計算每個對應(yīng)位置像素點的L2損失；

將所述圖像數(shù)據(jù)M與渲染結(jié)果I輸入到感知損失提取網(wǎng)絡(luò)模型中，獲取對應(yīng)物體的隱藏特征，并計算二者的損失函數(shù)；

將圖像整體的感知損失與所述L2損失結(jié)合得到所述總體損失函數(shù)；

根據(jù)總體損失函數(shù)進行反向傳播優(yōu)化模型參數(shù)，經(jīng)過設(shè)定輪次的迭代或損失值降低到設(shè)定的閾值時，完成模型訓(xùn)練。

6.一種基于全卷積神經(jīng)網(wǎng)絡(luò)的3D建模系統(tǒng)，其特征在于，所述系統(tǒng)包括，數(shù)據(jù)采集與處理模塊、神經(jīng)輻射場模塊、渲染模塊和損失函數(shù)模塊；

所述數(shù)據(jù)采集與處理模塊用于采集目標對象的圖像數(shù)據(jù)或視頻數(shù)據(jù)，并對圖像數(shù)據(jù)或從視頻數(shù)據(jù)中抽取的圖像幀數(shù)據(jù)進行標準化處理，得到數(shù)據(jù)集，同時記錄圖像對應(yīng)的設(shè)備位置信息數(shù)據(jù)；

所述神經(jīng)輻射場模塊和所述數(shù)據(jù)采集與處理模塊連接，存儲全卷積神經(jīng)網(wǎng)絡(luò)模型算法，接收輸入的圖像數(shù)據(jù)以及位置信息數(shù)據(jù)，輸出圖像像素的RBG和密度；

所述渲染模塊與所述神經(jīng)輻射場模塊連接，存儲渲染算法，接收圖像像素的RBG和密度，輸出渲染圖像；

所述損失函數(shù)模塊連接所述渲染模塊和所述數(shù)據(jù)采集與處理模塊，接收所述渲染圖像和原圖像數(shù)據(jù)，并執(zhí)行存儲的權(quán)利要求5所述的總體損失函數(shù)的計算邏輯。