[發明專利]基于隱式場的十億像素場景人群三維重建方法和裝置

有效

• 申請號: 202110265313.X
• 申請日: 2021-03-11
• 公開（公告）號: CN112907736B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 劉燁斌;邵睿智;于濤;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/10;G06V10/26;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種基于隱式場的十億像素場景人群三維重建方法，其特征在于，包括以下步驟：

利用長焦局部相機和短焦全局相機構成的相機陣列獲取十億像素的場景圖像；

分割所述場景圖像中的人體區域；

獲取所述人體區域的形狀和姿態參數；

根據預設的卷積神經網絡提取所述人體區域的幾何特征；

根據所述形狀和姿態參數、所述幾何特征構建所述場景圖像對應的人群三維模型；

其中，利用自校正的多尺度人體檢測和分割模型檢測出十億像素場景中的人，并將其分割出來；對于分割出的場景圖片，使用深度神經網絡進行特征提取，并利用迭代求解在遮擋情況下估計出人的形狀和姿態參數；使用高精度掃描的人體模型渲染出觀察人體不同視角的圖片作為訓練數據；采用隨機簡單圖形遮擋與人體隨機組合遮擋加強數據，訓練遮擋情況下的人體重建；使用基于可見性的重要性采樣，對三維人體可見部分加強采樣點密度并提高權重，加強模型的細節，使用卷積神經網絡提取訓練圖片的特征，并使用注意力機制關聯三維人體先驗與隱式場模型，在遮擋情況下完成對人體的高精度重建，將十億像素場景中得到的三維人體與隱式場模型結合，生成高分辨率的人群三維重建模型。

2.如權利要求1所述的方法，其特征在于，所述分割所述場景圖像中的人體區域，包括：

利用人體檢測和分割模型檢測出所述場景圖像中的人體區域。

3.如權利要求1所述的方法，其特征在于，

所述長焦局部相機的長焦焦距為135mm，所述短焦全局相機的短焦為25mm。

4.如權利要求1所述的方法，其特征在于，所述獲取所述人體區域的形狀和姿態參數，包括：

根據迭代求解算法獲取所述人體區域的形狀和姿態參數。

5.一種基于隱式場的十億像素場景人群三維重建裝置，其特征在于，包括：

第一獲取模塊，用于利用長焦局部相機和短焦全局相機構成的相機陣列獲取十億像素的場景圖像；

分割模塊，用于分割所述場景圖像中的人體區域，其中，利用自校正的多尺度人體檢測和分割模型檢測出十億像素場景中的人，并將其分割出來；

第二獲取模塊，用于獲取所述人體區域的形狀和姿態參數，其中，對于分割出的場景圖片，使用深度神經網絡進行特征提取，并利用迭代求解在遮擋情況下估計出人的形狀和姿態參數；

提取模塊，用于根據預設的卷積神經網絡提取所述人體區域的幾何特征；

模型構建模塊，用于根據所述形狀和姿態參數、所述幾何特征構建所述場景圖像對應的人群三維模型，其中，使用高精度掃描的人體模型渲染出觀察人體不同視角的圖片作為訓練數據；采用隨機簡單圖形遮擋與人體隨機組合遮擋加強數據，訓練遮擋情況下的人體重建；使用基于可見性的重要性采樣，對三維人體可見部分加強采樣點密度并提高權重，加強模型的細節，使用卷積神經網絡提取訓練圖片的特征，并使用注意力機制關聯三維人體先驗與隱式場模型，在遮擋情況下完成對人體的高精度重建，將十億像素場景中得到的三維人體與隱式場模型結合，生成高分辨率的人群三維重建模型。

6.如權利要求5所述的裝置，其特征在于，所述分割模塊，用于：

利用人體檢測和分割模型檢測出所述場景圖像中的人體區域。

7.如權利要求5所述的裝置，其特征在于，所述長焦局部相機的長焦焦距為135mm，所述短焦全局相機的短焦為25mm。

8.如權利要求5所述的裝置，其特征在于，所述第二獲取模塊，具體用于：

根據迭代求解算法獲取所述人體區域的形狀和姿態參數。

9.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時，實現如權利要求1-4中任一所述的方法。

10.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-4中任一所述的方法。