[發明專利]一種高分辨率三維體素模型重建方法

有效

• 申請號: 201910658615.6
• 申請日: 2019-07-22
• 公開（公告）號: CN110390638B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 李海生;鄭艷萍;李楠;吳曉群
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00;G06N3/0475;G06N3/045;G06N3/0464
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種高分辨率三維體素模型重建方法，其特征在于，包括以下步驟：

步驟1：使用深度卷積變分編碼器學習物體的單張RGB輸入圖像的特征，將得到的輸入圖像特征編碼成一個固定長度的向量，得到編碼結果；

步驟2：構建生成式對抗網絡(GAN)將編碼結果解碼出一個對應32³低分辨率三維體素模型，對得到的低分辨率三維體素模型進行插值，得到一個具有粗糙輪廓的256³或512³高分辨率三維體素模型；

步驟3：將低分辨率三維體素模型通過正交投影獲取六張32×32低分辨率二維正交深度圖，利用圖像超分辨率技術即經典圖像超分辨率算法SRGAN的生成器將六張二維正交深度圖進行超分辨率，得到256×256或512×512高分辨率二維正交深度圖，并將高分辨率的二維正交深度圖輸入到圖像判別器中判別真假，計算得到的高分辨率二維正交深度圖與數據集中已有的高分辨率二維正交深度圖之間的距離，通過最小化該距離來得到最優圖像結果；

所述步驟3中，超分辨率又被分解成深度預測和輪廓預測兩個子任務，輪廓預測通過輸出像素點被占用的概率獲得高分辨率的粗略輪廓圖，深度預測通過輸出固定距離內的深度變化獲得高分辨率的細節圖，兩者合并成高分辨率256×256或512×512的二維正交深度圖；

步驟4：以得到的最優高分辨率二維正交深度圖為參考，對步驟2所得到的具有粗糙輪廓的256³或512³高分辨率三維體素模型進行模型雕刻，得到具有精細輪廓的高分辨率三維體素模型；雕刻過程分為結構雕刻和細節雕刻，對應于步驟(3)中的輪廓預測和深度預測；結構雕刻時，對于每個預測的高分辨率正交投影深度圖，如果預測其中某像素坐標未被占用，則標記垂直于該像素坐標的所有體素；若一個體素被至少兩個高分辨率正交投影深度圖標記，則移除；細節雕刻時，對于每個預測的高分辨率正交投影深度圖，如果預測其中某像素坐標未被占用，則標記垂直于該像素坐標的所有體素，直到預測的深度；而在細節雕刻時，若一個體素被一個高分辨率正交投影深度圖標記，則移除，這是因為深度圖可以表示模型表面中的凹陷，而這些凹陷有可能只出現在其中一個面。

2.根據權利要求1所述的一種高分辨率三維體素模型重建方法，其特征在于：所述步驟1中，所述深度卷積變分編碼器包括五個二維卷積層，這五個二維卷積層的卷積核大小依次分別為11、5、5、5、8，這五個二維卷積層的步長依次分別為4、4、2、2、1；每個二維卷積層以一個批規范化層分隔開，且都跟隨著一個激活層，激活函數為LeakyReLu；深度卷積變分編碼器的最后一層為全連接層，全連接層輸出向量的固定長度為200。

3.根據權利要求1所述的一種高分辨率三維體素模型重建方法，其特征在于：所述步驟2中，生成式對抗網絡需預先進行訓練，具體訓練方法如下：

(1)生成器由四層三維解卷積層組成，將一組固定長度的向量作為輸入，通過調整三維解卷積層的參數，預測三維空間中的每一小塊的體素信號，生成與輸入圖像對應的三維體素模型；

(2)判別器由四層三維卷積和一層具有一個神經元的全連接層組成，生成的三維體素模型作為判別器的輸入，并將圖像對應的數據集中的真實三維體素模型輸入判別器，判別器執行二分類任務，通過調整三維卷積層和全連接層的參數輸出判別器的輸入三維體素模型來自數據集的概率；

(3)應用Adam梯度下降算法，優化生成器和判別器中的所有參數，最小化判別器的判別損失和生成器的分布函數損失，使得生成式對抗網絡(GAN)的損失函數最小化；

(4)重復執行(1)-(3)直到步驟(3)中的損失函數收斂或循環達到最大迭代次數，得到最終GAN的參數，以能生成準確的低分辨率三維體素模型。

4.根據權利要求1所述的一種高分辨率三維體素模型重建方法，其特征在于：所述步驟3中，六張二維正交深度圖為從低分辨率三維體素模型的前面、后面、上面、下面、左面、右面進行正交投影獲取的深度圖。

5.根據權利要求1所述的一種高分辨率三維體素模型重建方法，其特征在于：所述步驟3中，所述生成器由16個殘差模塊組成，每個殘差模塊由兩個卷積層，兩個批標準化層，一個殘差連接層組成。