[發明專利]一種基于對抗訓練先驗學習的單視圖三維重建系統及其方法

在審

• 申請號: 202011371684.8
• 申請日: 2020-11-30
• 公開（公告）號: CN112489197A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 白素琴;史金龍;茅凌波;李順君;錢強;歐鎮;田朝暉
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐澍

1.一種基于對抗訓練先驗學習的單視圖三維重建系統，其特征在于，包括：重建器、可微渲染器、判別器、重建損失函數、視圖判別損失函數；

所述的重建器，采用編解碼結構，包括編碼器和解碼器；所述的解碼器包括形狀解碼器和紋理解碼器；

所述的編碼器，包括：3個二維卷積層Conv和2個全連接層FC，將圖像作為輸入，生成相應的隱向量表示；3個卷積層的卷積核大小均為3×3，步幅stride均為2，輸出通道數filters分別是128、256和512，在每個卷積層后面設置有一個批量歸一化層BN和一個ReLU激活函數；2個全連接層的輸出分別是2048和1024，每個全連接層后面設置有一個批量歸一化層BN層和一個ReLU激活函數；編碼器最終輸出1024維的特征向量；

所述的解碼器，包括：形狀解碼器和紋理解碼器，且均用多層感知機實現：所述的形狀解碼器根據隱向量重建三維形狀，記作三維形狀MLP；所述的紋理解碼器根據隱向量生成相應的紋理圖像，記作紋理圖像MLP；

所述的判別器，包括:4個二維卷積層和一個全連接層：4個卷積層的卷積核大小均為5×5，步幅均為1，輸出通道數分別是256、512、1024和2048，在每個卷積層后面設置一個層歸一化層LN和一個Leaky-ReLU激活函數；全連接層的輸出是1維，其后設置有一個Sigmoid函數。

2.一種采用權利要求1所述系統的基于對抗訓練先驗學習的單視圖三維重建方法，其特征在于，包括以下訓練步驟：

步驟1.初始三維形狀重建訓練：根據輸入圖像訓練生成其對應的初始三維模型；

步驟2.形狀真實性對抗訓練：學習渲染視圖的正確性，將已觀察到的視點上的渲染視圖和未觀察到的視點上的渲染視圖區分開來；通過估計渲染視圖和三維形狀，判別器將識別損失的梯度反向傳播到重建器，從而將修改不正確視圖的知識傳遞給重建器。

3.根據權利要求2所述的一種基于對抗訓練先驗學習的單視圖三維重建方法，其特征在于，所述的步驟1的訓練目標是最小化重建三維形狀的渲染視圖與基準視圖之間的差異，其具體過程包括：

1-1.將重建器記作R(·)，輸入對象的多個視圖數據，輸出由三維形狀和紋理表示的三維模型；

1-2.將可微渲染器記作P(·,·)，輸入一個三維模型和相應的視點；根據指定視點，將三維模型投影到相應視圖，將其渲染成RGB視圖或者輪廓視圖；

1-3.將重建損失函數記作是度量兩個視圖間差異的函數；其訓練總損失定義如下：

其中，假設x_ij是對象o_i從某個視點v_ij的觀察視圖；N_o表示訓練數據集中的對象數；N_v是每個對象的視點數；v是訓練數據集中所有視點的集合；R(·)是重建器；P(·,·)是可微渲染器；

所述步驟1的訓練過程采用RGB彩色圖像和輪廓圖像數據，因此公式(1)中的需要考慮RGB彩色圖像和輪廓圖像兩類圖像；設：x和是基準視圖和估計視圖，x_c和分別是x和的RGB彩色圖像，x_s和分別是x和的輪廓圖像；為了比較彩色圖像x_c和采用結構相似性SSIM評價；假設深度神經網絡輸出的多尺度特征圖數量是N_f，即N_f是尺度數，和則表示第i個尺度對應的RGB彩色圖，M_i和N_i表示和的寬度和高度，則比較RGB彩色圖像x_c和的損失函數定義如下：

對于輪廓圖像x_s和如果第k個像素屬于對象，則第k個像素處的輪廓值設置為1；如果第k個像素屬于背景，其輪廓值設置為0；設計多尺度余弦距離衡量輪廓圖像x_s和之間的差異；設是和由x_s和降采樣2^i-1次得到的圖像，將輪廓圖像的損失函數定義為：

所以，重建損失函數其中，λ_c是一個超參數。

4.根據權利要求2所述的一種基于對抗訓練先驗學習的單視圖三維重建方法，其特征在于，所述的步驟2的具體過程包括：

2-1.將判別器記作Dis(·,·)，輸出渲染圖像正確的概率；

2-2.將視圖判別損失函數記作基于判別器7，根據視圖及相應視點，輸出該視圖正確的概率；利用交叉熵，將定義如下：

其中，v是訓練數據集中所有視點的集合。