[發明專利]用于多視圖植物三維重建的生成模型的構建方法

有效

• 申請號: 202010147283.8
• 申請日: 2020-03-05
• 公開（公告）號: CN111462301B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 劉燁斌;鐘源;王松濤;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/00;G06V10/774;G06V10/762
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本發明公開了一種用于多視圖植物三維重建的生成模型的構建方法，該方法包括：利用貝葉斯概率框架構建植物生長模型，通過對支取生長模型賦予帶參先驗概率，構建植物骨架生長的概率表示；通過在根節點上指定初始生長因子和分叉代數限制，植物生長模型通過隨機采樣生成實例化的骨架；獲取同種植物的圖像集，植物生長模型利用矢量場方法對圖像集中的每個單圖像計算一個2D骨架，通過對2D骨架聚類分析，提取出圖像集的形態基元，利用形態基元的模型與訓練集中的骨架擬合，使用高斯?牛頓梯度下降方法求取植物生長模型參數的最優解。該方法能夠反映植物生長姿態特性的貝葉斯概率模型，可作為植物表示的一般框架，能用于多視圖植物重建。

技術領域

本發明涉及三維重建技術領域，特別涉及一種用于多視圖植物三維重建的生成模型的構建方法。

背景技術

植物是城市和自然景觀環境的常見元素，植物模型在于農業、生物、建筑、游戲、電影行業中運用廣泛。然而植物模型的創建仍然是繁瑣昂貴的工作。已有的植物生成系統需要微調參數或手工建模以獲得所需的樹形，不便于獲取大量的不同的樹實例。現有的植物重建技術或者利用激光掃描的點云來重建樹的骨架，或者使用多視圖來恢復特定的某棵樹的形態，其無法學習樹的生長模式并生成新的不同的樹的實例。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種用于多視圖植物三維重建的生成模型的構建方法，該方法能夠反映植物生長姿態特性的貝葉斯概率模型，可作為植物表示的一般框架，能用于多視圖植物重建。

為達到上述目的，本發明一方面實施例提出了一種用于多視圖植物三維重建的生成模型的構建方法，包括：

利用貝葉斯概率框架構建植物生長模型，通過對所述支取生長模型賦予帶參先驗概率，構建植物骨架生長的概率表示；

通過在根節點上指定初始生長因子和分叉代數限制，所述植物生長模型通過隨機采樣生成實例化的骨架；

獲取同種植物的圖像集，所述植物生長模型利用矢量場方法對所述圖像集中的每個單圖像計算一個2D骨架，通過對2D骨架聚類分析，提取出所述圖像集的形態基元，利用所述形態基元的模型與訓練集中的骨架擬合，使用高斯-牛頓梯度下降方法求取所述植物生長模型參數的最優解。

本發明實施例的用于多視圖植物三維重建的生成模型的構建方法，通過植物生長的參數化分形模型，通過對模型賦予帶參先驗概率，構建植物骨架生長的概率表示。生長模型的構建可以重構植物在不同年齡階段的形態，它們構成了模型的形態空間。給定同株植物的單視圖或多視圖圖像，利用深度學習方法可提取出該植物的分支概率圖像，使用該圖像可以對生成模型的參數進行優化，并推理補全植物被遮擋部分的后驗概率。使用同種植物的圖片訓練該模型將使該模型特化到該種植物上，對模型的采樣將能夠實例化該種植物的不同的隨機形態，在形態空間中進行插值將實現不同形態的平滑過渡。能夠反映植物生長姿態特性的貝葉斯概率模型，可作為植物表示的一般框架，能用于多視圖植物重建。

另外，根據本發明上述實施例的用于多視圖植物三維重建的生成模型的構建方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，在所述植物生長模型中，植物骨架的每個分叉定義了枝干間的父子關系，每個分叉可以定義分叉數、分叉形態、生長因子的參數化局部概率，生長因子為由該分叉傳遞至下一分叉的生長信息，其將影響后續分叉的條件概率，植物局部概率的參數將決定模型所描述的植物的形態特征。

進一步地，在本發明的一個實施例中，在輸入為多視圖圖像時，分割出圖像中的單棵植株，利用Pix2Pix網絡將每幅圖像轉換為分支概率圖像，再將分支概率反投影到3D體素坐標中，形成3D概率分支結構，使用貪婪搜索生成多個概率候選結構，為每個候選結構使用Metropolis Hasting采樣優化最優候選，形成后驗分布的離散近似，通過采樣實現分支骨架的重建。