[發明專利]自行車三維模型重建方法和裝置

有效

• 申請號: 202110286477.0
• 申請日: 2021-03-17
• 公開（公告）號: CN112883494B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 劉燁斌;林思有;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06F30/15
• 分類號: G06F30/15;G06F30/27;G06N3/04;G06N3/08;G06T17/00;G06F111/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種自行車三維模型重建方法，其特征在于，包括以下步驟：

根據預設的深度神經網絡學習RGB圖像對應的目標基礎幾何體，并根據所述目標基礎幾何體組成候選三維模型，其中，所述RGB圖像中包含自行車圖像區域；

將所述候選三維模型投影到所述RGB圖像中，確定所述候選三維模型與所述RGB圖像對應的對齊點；

根據所述對齊點確定所述候選三維模型的紋理特征，并根據所述紋理特征生成所述候選三維模型的紋理生成自行車三維模型；

其中，在所述根據預設的深度神經網絡學習RGB圖像對應的目標基礎幾何體之前，包括：

利用自行車的幾何特征與對稱性來約束自行車模型中多個基礎幾何體的位置關系，其中，自行車模型由多個基礎幾何體組成；

根據預設的初始深度神經網絡學習自行車模型與所述多個基礎幾何體之間的映射關系，得到所述預設的深度神經網絡；

所述根據所述對齊點確定所述候選三維模型的紋理特征，包括：

根據所述對齊點確定所述RGB圖像中的紋理圖像區域；

提取所述紋理圖像區域的紋理特征；

其中，所述根據所述對齊點確定所述候選三維模型的紋理特征，包括：

確定所述候選三維模型中的不可見區域；

確定所述對齊點在可見區域的對稱點；

根據所述對齊點的紋理圖像區域，確定所述對稱點所在的不可見區域的紋理特征。

2.如權利要求1所述的方法，其特征在于，在所述確定所述候選三維模型與所述RGB圖像對應的對齊點之前，還包括：

根據預設的去畸變神經網絡修正所述候選三維模型的畸變。

3.一種自行車三維模型重建裝置，其特征在于，包括：

組成模塊，用于根據預設的深度神經網絡學習RGB圖像對應的目標基礎幾何體，并根據所述目標基礎幾何體組成候選三維模型，其中，所述RGB圖像中包含自行車圖像區域；

確定模塊，用于將所述候選三維模型投影到所述RGB圖像中，確定所述候選三維模型與所述RGB圖像對應的對齊點；

模型生成模塊，用于根據所述對齊點確定所述候選三維模型的紋理特征，并根據所述紋理特征生成所述候選三維模型的紋理生成自行車三維模型；

訓練模塊，利用自行車的幾何特征與對稱性來約束自行車模型中多個基礎幾何體的位置關系，其中，自行車模型由多個基礎幾何體組成，根據預設的初始深度神經網絡學習自行車模型與所述多個基礎幾何體之間的映射關系，得到所述預設的深度神經網絡；

所述模型生成模塊，還用于：

根據所述對齊點確定所述RGB圖像中的紋理圖像區域；

提取所述紋理圖像區域的紋理特征；

所述模型生成模塊，還用于：

確定所述候選三維模型中的不可見區域；

確定所述對齊點在可見區域的對稱點；

根據所述對齊點的紋理圖像區域，確定所述對稱點所在的不可見區域的紋理特征。

4.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時，實現如權利要求1-2中任一所述的方法。

5.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-2中任一所述的方法。