[發明專利]基于隱式場的十億像素場景人群三維重建方法和裝置

有效

• 申請號: 202110265313.X
• 申請日: 2021-03-11
• 公開（公告）號: CN112907736B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 劉燁斌;邵睿智;于濤;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V40/10;G06V10/26;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓?；?/td>

本發明提出一種基于隱式場的十億像素場景人群三維重建方法和裝置，其中，方法包括：獲取十億像素場景圖像；檢測出十億像素場景中的人和并將其分割出來；對于分割出的場景圖片，使用深度神經網絡進行特征提取，并估計出人的形狀和姿態；使用高精度掃描的人體模型渲染出觀察人體不同視角的圖片作為訓練數據；訓練遮擋情況下的人體重建；使用基于可見性的重要性采樣，對三維人體可見部分加強采樣點密度并提高權重，加強模型的細節。使用卷積神經網絡提取訓練圖片的特征，并使用注意力機制關聯三維人體先驗與隱式場模型，在遮擋情況下完成對人體的高精度重建。將十億像素場景中得到的三維人體與隱式場模型結合，生成高分辨率的人群三維重建模型。

技術領域

本發明涉及計算機視覺中的三維重建技術領域，尤其涉及一種基于隱式場的十億像素場景人群三維重建方法和裝置。

背景技術

近年來隨著計算機視覺技術的發展與計算硬件性能的提高，計算機視覺中三維重建領域發展迅速，其中人體三維重建是一個研究熱點。高精度準確的人體三維重建在智能通訊、安防監控、娛樂服務等領域有著重大應用價值。

隨著隱式場的提出與深度學習的發展，單RGB圖片人體三維重建技術已取得了重大進步。然而隱式場方法的精確性受到分辨率的限制，對于多人、密集人群場景等也難以應用，在不同光照環境下也難以得到穩定的重建結果，存在很多局限性。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種基于隱式場的十億像素場景人群三維重建方法，以實現系統采用長焦和短焦相機陣列，長焦相機用于獲取局部細節圖像，短焦相機用于獲取全局圖像。在此基礎上使用跨分辨率拼接技術將局部細節與全局圖像進行拼接，最終得到十億像素場景圖像。

本發明的第二個目的在于提出一種基于隱式場的十億像素場景人群三維重建裝置。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種基于隱式場的十億像素場景人群三維重建方法，包括：利用長焦局部相機和短焦全局相機構成的相機陣列獲取十億像素的場景圖像；

分割所述場景圖像中的人體區域；

獲取所述人體區域的形狀和姿態參數；

根據預設的卷積神經網絡提取所述人體區域的幾何特征；

根據所述形狀和姿態參數、所述幾何特征構建所述場景圖像對應的人群三維模型。

為達上述目的，本發明第二方面實施例提出了一種基于隱式場的十億像素場景人群三維重建裝置，包括：第一獲取模塊，用于利用長焦局部相機和短焦全局相機構成的相機陣列獲取十億像素的場景圖像；

分割模塊，用于分割所述場景圖像中的人體區域；

第二獲取模塊，用于獲取所述人體區域的形狀和姿態參數；

提取模塊，用于根據預設的卷積神經網絡提取所述人體區域的幾何特征；

模型構建模塊，用于根據所述形狀和姿態參數、所述幾何特征構建所述場景圖像對應的人群三維模型。

為達上述目的，本發明第三方面實施例提出了一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時，實現如上述第一方面實施例所述的基于隱式場的十億像素場景人群三維重建方法。

為了實現上述目的，本發明第四方面實施例提出了一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如上述第一方面實施例所述的基于隱式場的十億像素場景人群三維重建方法。