[發明專利]基于語義先驗的實時概率單目稠密重建方法及系統

有效

• 申請號: 202110309748.X
• 申請日: 2021-03-23
• 公開（公告）號: CN112862959B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 季向陽;婁志強;邸研
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06K9/62;G06V10/762
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 歐陽高鳳

本發明公開了一種基于語義先驗的實時概率單目稠密重建方法及系統，所述方法包括以下步驟：S1，定義一幀圖像I_t，根據關鍵幀I_k對應的概率加權深度圖D_k以及兩幀之間的相對位姿計算I_t對應的深度圖D_t；S2，得到I_t對應的深度圖D_t后，采用SGM法得到關鍵幀I_k的本地深度觀測參數；S3，對本地深度觀測參數進行本地初始化處理；S4，利用更新的本地初始化結果時序更新I_k的概率模型，然后再利用空間上概率加權更新深度圖D_k；S5，當I_t轉化為關鍵幀時，根據關鍵幀I_k的概率模型傳播到I_t上以持續利用時序信息。根據本發明的基于語義先驗的實時概率單目稠密重建方法，能夠更好地提高稠密重建質量。

技術領域

本發明涉及三維視覺技術領域，尤其是涉及一種基于語義先驗的實時概率單目稠密重建方法及系統。

背景技術

如今，智能交通與自動駕駛發展迅速，車輛在行駛過程中需要有感知周圍環境三維結構的能力，雷達雖然可以完成這一任務，但是它成本高昂且難以利用場景的語義信息，相機成本低廉且能捕捉到豐富的顏色以及結構等信息，因此在動態場景中如何利用圖像完成稠密重建已經成為目前的研究熱點。視覺稠密重建技術能輸出圖像中絕大部像素的深度，恢復圖像損失的三維場景信息，可以廣泛運用于機器人導航、路徑規劃以及三維物體檢測等任務中。

但是在稠密重建中，目前還存在許多棘手的問題，如有限的計算資源、多變的場景深度范圍以語義信息的合理引入等。在現有技術中，通常采用傳統的SFM(Structure fromMotion運動恢復結構)方法、基于濾波的方法和基于CNN(Convolutional Neural Network卷積神經網絡)的方法。

傳統的SFM方法基于優化來重建稠密深度，有巨大的計算成本，難以達到實時稠密重建的要求；基于濾波的方法雖然能高效求解深度，但是它們難以引入多樣的語義信息，并且絕大多數基于濾波的方法對單個像素的深度建模，建模時沒有考慮像素間的深度關系，未考慮空間結構信息，這進一步降低稠密重建結果的準確度；基于CNN的方法需要數據集來訓練，有監督方法的則還需要真實深度圖，這一條件更加苛刻，而現實場景又是復雜多樣的，因而目前這類方法都有很強的數據依賴性，在完全不同的場景下有時甚至難以輸出合理的結果。因此，上述技術存在改進的空間。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明的一個目的在于提出一種基于語義先驗的實時概率單目稠密重建方法，所述基于語義先驗的實時概率單目稠密重建方法，能夠更好地提高稠密重建質量。

本發明還提出了一種采用了上述基于語義先驗的實時概率單目稠密重建方法的系統。

根據本發明實施例的基于語義先驗的實時概率單目稠密重建方法，包括以下步驟：

S1，定義一幀圖像I_t，根據關鍵幀I_k對應的概率加權深度圖D_k以及兩幀之間的相對位姿計算I_t對應的深度圖D_t；

S2，得到I_t對應的深度圖D_t后，采用SGM法得到關鍵幀I_k的本地深度觀測參數；

S3，對本地深度觀測參數進行本地初始化處理；

S4，利用更新的本地初始化結果時序更新k_k的概率模型，然后再利用空間上概率加權更新深度圖D_k；

S5，當I_t轉化為關鍵幀時，根據關鍵幀I_k的概率模型傳播到I_t上以持續利用時序信息。