[發明專利]基于RGB視頻的物體重建方法和裝置

在審

• 申請號: 202110832398.5
• 申請日: 2021-07-22
• 公開（公告）號: CN113689540A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 徐楓;張浩
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70;G06K9/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種基于RGB視頻的物體重建方法，其特征在于，包括以下步驟：

獲取待重建物體的RGB視頻；

對所述RGB視頻進行預處理，獲取所述RGB視頻中的關鍵幀圖像和對應的相機姿態；

使用NerF訓練方法，將所述關鍵幀圖像和對應的相機姿態作為訓練數據，訓練一個多層感知器MLP，生成所述待重建物體的輻照度場；

根據所述輻照度場生成點云，并將所述點云進行融合，生成包含物體模型的體素體；

使用Marching Cubes算法從所述體素體中提取所述待重建物體的模型。

2.如權利要求1所述的方法，其特征在于，制作一個ArUco定位板，將所述待重建物體放置于所述定位板中央，使用錄像設備圍繞著所述待重建物體進行拍攝，生成所述待重建物體的RGB視頻。

3.如權利要求1所述的方法，其特征在于，所述獲取所述RGB視頻中的關鍵幀視頻和對應的相機姿態，包括以下步驟：

使用圖像處理的方法獲取所述RGB視頻中每幀RGB圖像的清晰度，并按照每30幀提取一張最清晰的圖像構成多視角圖像；

使用所述多視角圖像的ArUco碼確定每幀RGB圖像對應的相機姿態，剔除所述多視角圖像中無法獲得相機姿態的圖像幀，生成關鍵幀圖像和對應的相機姿態。

4.如權利要求1所述的方法，其特征在于，所述體素體的生成包括以下步驟：

在所述關鍵幀圖像對應的相機姿態范圍內生成預設個數的虛擬相機姿態；

從所述虛擬相機出發，對所述輻照度場進行查詢，將所述虛擬相機圖像中每個像素的投射光線上累積密度為1的位置及該投射光線上的期望顏色值記錄為三維點，所有的三維點構成點云；

使用基于體素的方法對所述點云進行融合，生成所述包含物體模型的體素體。

5.一種基于RGB視頻的物體重建裝置，其特征在于，包括獲取模塊、分析模塊、訓練模塊、生成模塊、提取模塊，其中，

所述獲取模塊，用于獲取待重建物體的RGB視頻；

所述分析模塊，用于對所述RGB視頻進行預處理，獲取所述RGB視頻中的關鍵幀圖像和對應的相機姿態；

所述訓練模塊，用于使用NerF訓練方法，將所述關鍵幀圖像和對應的相機姿態作為訓練數據，訓練一個多層感知器MLP，生成所述待重建物體的輻照度場；

所述生成模塊，用于根據所述輻照度場生成點云，并將所述點云進行融合，生成包含物體模型的體素體；

所述提取模塊，用于使用Marching Cubes算法從所述體素體中提取所述待重建物體的模型。

6.如權利要求5所述的裝置，其特征在于，所述獲取模塊，具體用于：

使用A4紙打印制作一個ArUco定位板，將所述待重建物體放置于所述定位板中央，使用手機圍繞著所述待重建物體進行拍攝，生成所述待重建物體的RGB視頻。

7.如權利要求5所述的裝置，其特征在于，所述分析模塊，具體用于：

使用圖像處理的方法獲取所述RGB視頻中每幀RGB圖像的清晰度，并按照每30幀提取一幀最清晰的圖像構成多視角圖像；

使用所述多視角圖像的ArUco碼確定每幀RGB圖像對應的相機姿態，剔除所述多視角圖像中無法獲得相機姿態的圖像幀，生成關鍵幀圖像和對應的相機姿態。

8.如權利要求5所述的裝置，其特征在于，所述生成模塊，具體用于：

在所述關鍵幀圖像對應的相機姿態范圍內生成預設個數的虛擬相機姿態；

從所述虛擬相機出發，對所述輻照度場進行查詢，將所述虛擬相機圖像中每個像素的投射光線上累積密度為1的位置及該投射光線上的期望顏色值記錄為三維點，所有的三維點構成點云；

使用基于體素的方法對所述點云進行融合，生成所述包含物體模型的體素體。

9.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-4中任一所述的基于RGB視頻的物體重建方法。