[發明專利]用于大規模場景重建的深度圖優化方法、裝置及存儲介質

在審

• 申請號: 202111117916.1
• 申請日: 2021-09-24
• 公開（公告）號: CN113808063A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 何嬌;董林佳;王江安
• 申請（專利權）人: 土豆數據科技集團有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/20;G06T7/55
• 代理公司: 西安毅聯專利代理有限公司 61225
• 代理人: 韓金明

本申請公開了用于大規模場景重建的深度圖優化方法，涉及圖像處理技術領域，包括：對N張多視角圖像進行預處理，確定每張多視角圖像的深度估計范圍；選取N張多視角圖像中的一張圖像作為參考圖像和M張圖像作為源圖像，根據參考圖像的深度估計范圍和源圖像的深度估計范圍，確定參考圖像初始深度圖和初始深度置信度圖；根據參考圖像初始深度置信度圖計算參考圖像中像素點的置信度掩碼值；根據置信度掩碼值，對參考圖像初始深度圖中每個像素點的深度值進行優化，確定優化深度圖；對優化深度圖進行濾波，確定深度圖，解決了若紋理區域的融合度不高的問題，實現了對于弱紋理區域的深度圖能夠對缺失處的填補，有效的對大型室外場景進行重建。

技術領域

本申請涉及圖像處理技術領域，尤其涉及用于大規模場景重建的深度圖優化方法、裝置及存儲介質。

背景技術

傳統的基于深度圖融合的方法在某些環境下獲得了相對較高的精度，但由于在實現的過程中嚴重依賴紋理環境來計算照片的一致性，在對弱紋理的物理場景進行深度融合的時候會發生融合度不高的問題，例如在對具有大量玻璃材質的建筑和水面，傳統的深度圖融合方法不能滿足高精度融合的需求。

目前，如何對若紋理區域進行重建，是亟需解決的問題。

發明內容

本申請實施例通過提供一種用于大規模場景重建的深度圖優化方法，解決了現有技術中對若紋理區域的融合度不高的問題，實現了對于弱紋理區域的深度圖能夠對缺失處的填補，有效的對大型室外場景進行重建。

第一方面，本發明實施例提供了用于大規模場景重建的深度圖優化方法，該方法包括：

對N張多視角圖像進行預處理，確定每張所述多視角圖像的深度估計范圍；

選取N張所述多視角圖像中的一張圖像作為參考圖像和M張圖像作為源圖像，其中MN；

根據所述參考圖像的深度估計范圍和所述源圖像的深度估計范圍，確定參考圖像初始深度圖和確定參考圖像初始深度置信度圖；

根據所述參考圖像初始深度置信度圖計算所述參考圖像中像素點的置信度掩碼值；

根據所述置信度掩碼值，對所述參考圖像初始深度圖中每個像素點的深度值進行優化，確定優化深度圖；

對所述優化深度圖進行濾波，確定深度圖。

結合第一方面，在一種可能的實現方式中，所述對N張多視角圖像進行預處理，包括：

采用遞增式運動恢復結構算法估計深度范圍；

選取用于立體匹配的圖像。

結合第一方面，在一種可能的實現方式中，所述確定參考圖像初始深度圖，包括：

計算所述參考圖像中的每個像素點在參考視角的深度方向上的采樣數量；

根據所述采樣數量計算所述像素點的初始深度值，并確定參考圖像初始深度圖。

結合第一方面，在一種可能的實現方式中，所述確定參考圖像初始深度置信度圖，包括：

計算所述參考圖像中每個像素點對應M張所述源圖像的中像素點的匹配相關度值，確定所述參考圖像中每個像素點的多個匹配相關度值；

對M張所述源圖像的中每個像素點的多個所述匹配相關度值，計算均值，確定所述參考圖像的每個像素點的初始深度置信度值；

根據所述參考圖像的每個像素點的初始深度置信度值，確定所述參考圖像初始深度置信度圖。

結合第一方面，在一種可能的實現方式中，所述計算所述參考圖像中像素點的置信度掩碼值，包括：

確定約束條件為包括深度約束、平滑約束和法線約束，并確定目標函數；

根據所述參考圖像的初始深度置信度圖，計算所述參考圖像中像素點的置信度掩碼值；

所述參考圖像中像素點的置信度掩碼值用于計算所述目標函數最小值；

確定所述目標函數最小值為所述參考圖像中像素點的優化深度值。