[發明專利]基于RGB視頻的物體重建方法和裝置

在審

• 申請號: 202110832398.5
• 申請日: 2021-07-22
• 公開（公告）號: CN113689540A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 徐楓;張浩
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70;G06K9/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

本申請提出了一種基于RGB視頻的物體重建方法，涉及三維重建、機器學習技術領域，其中，該方法包括：獲取待重建物體的RGB視頻；對RGB視頻進行預處理，獲取RGB視頻中的關鍵幀圖像和對應的相機姿態；使用NerF訓練方法，將關鍵幀圖像和對應的相機姿態作為訓練數據，訓練一個多層感知器MLP，生成待重建物體的輻照度場；根據輻照度場生成點云，并使用基于體素的方法將點云進行融合，生成包含物體模型的體素體；使用Marching Cubes算法從體素體中提取待重建物體的模型。采用上述方案的本申請為物體重建提出了一種從RGB視頻中獲取物體幾何和紋理模型的方法，使用RGB視頻作為輸入，采集方法簡單，數據容易獲取。

技術領域

本申請涉及三維重建、機器學習技術領域，尤其涉及一種基于RGB視頻的物體重建方法和裝置。

背景技術

物體重建是計算機圖形學和計算機視覺中的重要研究內容，在動畫、電影、VR/AR等領域都有非常廣泛的應用。然而，當前基于RGB視頻輸入的方法難以獲得令人滿意的物體重建結果。人工智能技術的發展為基于RGB視頻輸入的物體幾何和紋理重建開辟了新的道路。已有研究表明，神經網絡可以從單幀的RGB圖像中恢復物體的幾何以及紋理。然而，當前通過神經網絡得到的物體模型還比較粗糙。

物體重建技術能夠從視覺信息中恢復物體的幾何和紋理，因此受到了學術界和工業界的重視，在游戲動畫、VR/AR、文物保護等領域有著非常廣泛的應用價值。然而，目前的三維模型重建技術為了得到高質量的三維模型，往往需要使用昂貴的儀器采集高質量的彩色圖，并通過立體匹配的方法實現高質量的三維模型重建。由于此種方法的高成本，這種重建技術僅用于高端場合，難以走進人們的生活中。近年來，隨著神經網絡技術的發展，越來越多的研究者使用多層全連接網絡(MLP，Multi-Layer Perception)構建神經輻射場(NeRF,Neural Radiance Field)，從而獲得高質量的任意視角圖像。

發明內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的第一個目的在于提出一種基于RGB視頻的物體重建方法，解決了現有方法高成本，重建技術僅用于高端場合難以走進人們的生活的問題，通過以RGB視頻作為輸入，使用神經輻射場記錄物體的幾何和紋理信息，實現了從神經輻射場中提取高精度物體模型的目的，本申請采集方法簡單，數據容易獲取。

本申請的第二個目的在于提出一種基于RGB視頻的物體重建裝置。

本申請的第三個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本申請第一方面實施例提出了一種基于RGB視頻的物體重建方法，包括：獲取待重建物體的RGB視頻；對RGB視頻進行預處理，獲取RGB視頻中的關鍵幀圖像和對應的相機姿態；使用NerF訓練方法，將關鍵幀圖像和對應的相機姿態作為訓練數據，訓練一個多層感知器MLP，生成待重建物體的輻照度場；根據輻照度場生成點云，并將點云進行融合，生成包含物體模型的體素體；使用Marching Cubes算法從體素體中提取待重建物體的模型。

在本申請的一個實施例中，需要制作一個ArUco定位板，將待重建物體放置于定位板中央，使用錄像設備圍繞著待重建物體進行拍攝，生成待重建物體的RGB視頻。

在本申請的一個實施例中，需要獲取RGB視頻中的關鍵幀視頻和對應的相機姿態，包括以下步驟：

使用圖像處理的方法獲取RGB視頻中每幀RGB圖像的清晰度，并按照每30幀提取一幀最清晰的圖像構成多視角圖像；

使用多視角圖像的ArUco碼確定每幀RGB圖像對應的相機姿態，剔除多視角圖像中無法獲得相機姿態的圖像幀，生成關鍵幀圖像和對應的相機姿態。

在本申請的一個實施例中，體素體的生成包括以下步驟：

在關鍵幀圖像對應的相機姿態范圍內生成預設個數的虛擬相機姿態；