[發(fā)明專利]三維重建方法和三維重建裝置

在審

• 申請?zhí)枺?/td>: 202010143002.1
• 申請日: 2020-03-04
• 公開（公告）號: CN113362382A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 王昊;張淋淋
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/73;G06F16/583;G06K9/00;G06K9/62;G06T19/20;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請實施例公開了一種三維重建方法，可通過單張二維圖像實現(xiàn)物體的三維重建，可以提高三維重建的準確度。本申請實施例方法包括：獲取第一物體的圖像和所述圖像的相機位姿；通過第一深度學習網(wǎng)絡，確定所述圖像中所述第一物體的第一歸一化位置場NOLF圖，所述第一NOLF圖指示所述第一物體在所述圖像的拍攝視角下的歸一化的三維點云；根據(jù)所述第一NOLF圖，從模型數(shù)據(jù)庫的多個三維模型中確定與所述第一物體對應的第一模型；根據(jù)所述第一模型和所述圖像的相機位姿確定所述第一物體的位姿；根據(jù)所述第一模型和所述第一物體的位姿三維重建所述圖像中的所述第一物體。

技術(shù)領域

本申請涉及三維建模技術(shù)，尤其涉及一種三維重建方法和三維重建裝置。

背景技術(shù)

三維數(shù)字化數(shù)據(jù)可以提升人們對真實空間的認知水平和層次，為人們帶來遠超二維圖像數(shù)據(jù)的豐富信息。利用高精度激光掃描儀獲得三維環(huán)境的點云信息進行建模是一種常見的方案，但是激光掃描儀設備昂貴，如何高效準確低廉地獲得真實可用的三維數(shù)字化數(shù)據(jù)，是限制三維應用進一步蓬勃發(fā)展的關鍵性瓶頸之一。

圖像現(xiàn)有技術(shù)中，以預先構(gòu)建好的模型數(shù)據(jù)庫為基礎，對用戶輸入的單張場景圖像進行圖像分析獲取目標模型的局部圖像，在預先構(gòu)建模型數(shù)據(jù)庫中進行模型檢索確定匹配的模型，進而實現(xiàn)三維重建。其中，預設的模型數(shù)據(jù)庫基于虛擬三維空間的不同位置和角度，對三維模型進行投影映射，用一組多角度的投影圖像代替三維模型本身，這樣，就將模型檢索中二維-三維檢索問題轉(zhuǎn)換成二維-二維相似性度量問題；當某一個三維模型在某一視角下的投影圖像與待檢索的局部圖像比較接近，則認為投影圖像對應的三維模型即為檢索結(jié)果。

由于現(xiàn)有技術(shù)中，從預設的位置和角度對預設的三維模型進行投影映射，模型數(shù)據(jù)庫中用一組多角度的投影圖像代表一個三維模型，但是，實際拍攝的場景圖像時的視角往往是任意且隨機的，與模型數(shù)據(jù)庫中投影圖像的位置和角度匹配度低，因此，模型檢索的準確度較低。

發(fā)明內(nèi)容

本申請實施例提供了一種三維重建方法，用于通過二維圖像實現(xiàn)物體的三維重建，可以提高三維模型匹配的準確率。

本申請實施例的第一方面提供了一種三維重建方法，包括：獲取第一物體的圖像和所述圖像的相機位姿；通過第一深度學習網(wǎng)絡，確定所述圖像中所述第一物體的第一歸一化位置場NOLF圖，所述第一NOLF圖指示所述第一物體在所述圖像的拍攝視角下的歸一化的三維點云；根據(jù)所述第一NOLF圖，從模型數(shù)據(jù)庫的多個三維模型中確定與所述第一物體對應的第一模型；根據(jù)所述第一模型和所述圖像的相機位姿確定所述第一物體的位姿；根據(jù)所述第一模型和所述第一物體的位姿三維重建所述圖像中的所述第一物體。

本申請實施例提供的三維重建方法，獲取對包含第一物體的場景進行拍攝得到的二維圖像，輸入深度學習網(wǎng)絡，得到該第一物體的NOLF圖，指示該第一物體在拍攝該圖像的相機拍攝視角下的歸一化的三維點云，根據(jù)該第一物體的NOLF圖從模型數(shù)據(jù)庫中確定第一物體對應的第一模型，根據(jù)所述第一模型和所述圖像的相機位姿確定所述第一物體的位姿，從而實現(xiàn)圖像中第一物體的三維重建。由于第一物體的NOLF指示的是第一物體在拍攝該圖像的相機拍攝視角下的歸一化的三維點云，即通過深度學習網(wǎng)絡恢復了第一物體在圖像的拍攝視角下的部分三維信息，通過該NOLF圖進行三維檢索，相較現(xiàn)有技術(shù)可以提高模型匹配的準確度，進行提高三維重建成功率。

在第一方面的一種可能的實現(xiàn)方式中，所述方法還包括：根據(jù)所述第一NOLF圖，確定所述第一物體的第一相對位姿，所述第一相對位姿為所述第一物體的位姿與所述圖像的相機位姿之間的相對位姿；確定多個所述三維模型中在所述第一相對位姿對應的視角下的NOLF圖；所述根據(jù)所述第一NOLF圖，從模型數(shù)據(jù)庫的多個三維模型中確定與所述第一物體對應的第一模型包括：從多個所述三維模型各自對應的NOLF圖中確定與所述第一NOLF圖相似度最高的NOLF圖對應的所述第一模型。