[發明專利]基于深度編碼網絡的多視點人體動態三維重建方法及系統

有效

• 申請號: 202010147764.9
• 申請日: 2020-03-05
• 公開（公告）號: CN111462302B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 于濤;劉燁斌;鄭澤榮;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/33;G06T7/55;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本發明公開了一種基于深度編碼網絡的多視點人體動態三維重建方法及系統，其中，方法包括：利用訓練數據對深度編碼網絡進行訓練；使用多個標定好的彩色深度相機采集重建對象的多視點彩色深度信息；根據彩色深度相機的標定信息，將多視點彩色深度信息輸入融合到一個統一的坐標系空間中，生成多視點觀測信息的輸入數據體；將參數化人體模型與輸入數據體進行配準，得到對應人體的體態信息，生成輸入特征體；將輸入數據體和輸入特征體作為訓練后的深度編碼網絡的輸入，通過深度編碼網絡得到重建對象的高精度模型。該方法包括高質量深度編碼網絡的訓練和高效推理，可以實現高質量且完整的人體動態三維重建，可以用于虛擬導購員的重建和人體表演捕捉等。

技術領域

本發明涉及計算機視覺和圖形學技術領域，特別涉及一種基于深度編碼網絡的多視點人體動態三維重建方法及系統。

背景技術

現有人體動態三維重建方法和系統均采用傳統的基于多視點立體匹配或者深度體融合的方法進行重建，這類方法需要對具有復雜運動的動態場景進行準確跟蹤，并且融合過程會導致重建結果平滑，最終導致重建精度降低。更為重要的是，給定多視點輸入的數據，傳統方法無法直接獲得完整的重建模型，即便使用傳統的模型補全方法(比如泊松重建)可以得到完整的重建模型，但仍然包含較大的重建誤差。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于深度編碼網絡的多視點人體動態三維重建方法，該方法使用深度編碼技術將采集對象進行高質量預先編碼，通過訓練深度編碼網絡，可以在多視點輸入的情況下產生高質量的、完整的人體動態三維重建效果。

本發明的另一個目的在于提出一種基于深度編碼網絡的多視點人體動態三維重建系統。

為達到上述目的，本發明一方面實施例提出了一種基于深度編碼網絡的多視點人體動態三維重建方法，包括：

S1，利用訓練數據對深度編碼網絡進行訓練；

S2，使用多個預先標定好的彩色深度相機采集重建對象的多視點彩色深度信息；

S3，根據所述彩色深度相機的標定信息，將所述多視點彩色深度信息輸入融合到一個統一的坐標系空間中，并生成多視點觀測信息的輸入數據體；

S4，將參數化人體模型與所述輸入數據體進行配準，得到對應人體的體態信息，并生成輸入特征體；

S5，將所述輸入數據體和所述輸入特征體作為所述訓練后的深度編碼網絡的輸入，通過所述深度編碼網絡得到所述重建對象的高精度模型。

本發明實施例的基于深度編碼網絡的多視點人體動態三維重建方法，通過利用多視點彩色深度相機對人體進行拍攝，通過參數化模型配準及多視點信息體融合等方式獲得深度編碼網絡所需的輸入信息，并最終通過編解碼實現人體動態三維信息完整且精確的重建。該方法重建精度高，魯棒性高，任意時刻均可以獲得完整的動態三維重建結果，應用廣泛，可以在單臺PC機、工作站或者云端計算卡等硬件系統上實現。

另外，根據本發明上述實施例的基于深度編碼網絡的多視點人體動態三維重建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，在步驟S1中，所述訓練數據為同一采集對象在不同姿態下的高精度三維掃描結果，對所述高精度三維掃描數據進行彩色深度圖像渲染和傳感器噪聲疊加，再根據能量函數進行參數化模型的配準。

進一步地，在本發明的一個實施例中，所述傳感器噪聲的模型包括切向噪聲模型和徑向噪聲模型，均使用高斯模型進行描述，所述切向噪聲模型的方差為：

σ_L(θ)[m]＝σ_L(θ)[px]·z·p_x/f_x