[發明專利]一種基于多視角深度相機的三維人像實時重建及渲染方法

在審

• 申請號: 202011225534.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112348957A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 徐迪;王凱;毛文濤;孫立;張旭;李臻
• 申請（專利權）人: 上海影創信息科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T15/00;G06N3/04
• 代理公司: 北京世譽鑫誠專利代理有限公司 11368
• 代理人: 孫國棟

本發明公開的基于多視角深度相機的三維人像實時重建及渲染方法，涉及計算機視覺領域，通過對多個相機進行標定，得到多個相機之間的相對位姿并根據相對位姿，將多個相機輸出的深度信息轉置于統一的三維坐標系之內，形成點云，分別判斷各個體素是否被點云占據，若是，則根據相對位姿及預先創建的人像掩膜，分別為各個體素構建基于截斷的符號距離函數，對各個體素對應的基于截斷的符號距離函數進行加權平均并利用點云網格化算法，得到人體三維網格，對顏色信息進行加權平均，得到攜帶顏色信息的人體三維網格，將人體三維網格輸入預先構建的對抗神經網絡對人體三維網格進行渲染，得到相應的二維人像，實現了三維人像的實時捕捉，提升了成像質量。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于多視角深度相機的三維人像實時重建及渲染方法。

背景技術

目前眾多三維全身人像容積拍攝系統主要采用2類方案，一類采用高清彩色相機，缺乏深度信息，依靠傳統的特征點匹配方法計算量巨大，難以達到實時；一類采用深度相機，但是未能解決深度相機對黑色物體和結構較細的物體深度成像差的問題，導致質量較低。

因此，現有技術未能有效地解決三維人像的實時捕捉及高質量渲染問題。

發明內容

為解決現有技術的不足，本發明實施例提供了一種基于多視角深度相機的三維人像實時重建及渲染方法，該方法包括以下步驟：

對多個相機進行標定，得到所述多個相機之間的相對位姿并根據所述相對位姿，構建統一的三維坐標系；

在所述三維坐標系內劃分多個體素，將所述多個相機輸出的深度信息轉置于統一的三維坐標系之內，形成點云；

分別判斷各個體素是否被所述點云占據，若是，則根據所述相對位姿及預先創建的人像掩膜，分別為各個體素構建基于截斷的符號距離函數；

對各個體素對應的基于截斷的符號距離函數進行加權平均并利用點云網格化算法，得到人體三維網格；

根據所述相對位姿構建uv貼圖，將各個相機的顏色信息以貼圖形式分別投影至人體三維網格上；

對uv貼圖出現重疊的各個區域，根據人體三維網格上的三維點與相機的夾角和距離的關系，計算權重并根據所述權重，對顏色信息進行加權平均，得到攜帶顏色信息的人體三維網格；

將所述人體三維網格輸入預先構建的對抗神經網絡對所述人體三維網格進行渲染，得到相應的二維人像。

優選地，對多個相機進行標定，得到所述多個相機之間的相對位姿包括：

使用多張標定棋盤格，將所述多張標定棋盤格垂直放置于多臺相機的可見范圍內，對每一張標定棋盤格，提其取角點信息及亞像素級的角點信息，根據所述角點信息及所述亞像素級的角點信息，得到所述多個相機之間的相對位姿。

優選地，所述人像掩膜的創建過程包括：

將處于預設范圍內相機的深度值的圖像作為人體圖像，生成軟分割的第一人像掩膜。

優選地，所述對抗神經網絡的創建過程包括：

利用構架為U-Net的生成器及架構為DenseNet-121的判別器，構建第一生成對抗神經網絡，其中，所述第一生成對抗神經網絡的作用為視角合成；

利用構架為U-Net的生成器與超分辨率卷積層的組合、5層卷積神經網絡的判別器，構建第二生成對抗神經網絡，其中，所述第二生成對抗神經網絡的作用是圖像增強。

優選地，在生成軟分割的第一人像掩膜之后，所述方法還包括：

采用主動輪廓模型算法對所述第一人像掩膜進行優化，得到第二人像掩膜。