[發明專利]一種3D場景生成方法及裝置

有效

• 申請號: 202210036177.1
• 申請日: 2022-01-13
• 公開（公告）號: CN114049444B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 趙開勇
• 申請（專利權）人: 深圳市其域創新科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06N3/04;G06N3/08
• 代理公司: 深圳市愛迪森知識產權代理事務所(普通合伙) 44341
• 代理人: 何婷

本發明實施例涉及3D視覺技術領域，公開了一種3D場景生成方法及裝置，該方法包括：對待處理圖像進行場景識別，得到場景信息，所述場景信息包括所述圖像中的目標物體的屬性信息，所述屬性信息至少包括深度信息；基于所述場景信息獲取所述目標物體的3D模型；基于所述屬性信息調整所獲取的3D模型得到所述待處理圖像的3D場景。通過上述方式，本發明實施例可提高3D場景生成效率。

技術領域

本發明實施例涉及3D視覺技術領域，具體涉及一種3D場景生成方法及裝置。

背景技術

三維重建技術是基于二維的輸入重建三維物體的方法。傳統的三維重建方法主要通過大量彩色圖像重建三維物體。近年來，隨著Kinect等深度攝像頭的發展和商品化，基于彩色深度圖像的三維重建技術被廣泛研究。基于彩色深度圖像的三維重建技術可以被用于重建稠密、精細的物體模型，用于虛擬現實環境的構建，結合現在的虛擬現實、增強現實硬件和軟件，提供三維的交互體驗。

現有技術中，由于復雜場景下物體之間存在遮擋和相互影響，場景中單個物體容易出現誤差和缺失，難以達到預期的精度。另外，通常需要多張圖像才能恢復場景重建。

基于此，亟待一種技術，以解決上述問題。

發明內容

鑒于上述問題，本發明實施例提供了一種3D場景生成方法及裝置，克服了上述問題或者至少部分地解決了上述問題。

根據本發明實施例的一個方面，提供了一種3D場景生成方法，該方法包括：對待處理圖像進行場景識別，得到場景信息，所述場景信息包括所述圖像中的目標物體的屬性信息，所述屬性信息至少包括深度信息；

基于所述場景信息獲取所述目標物體的3D模型；

基于所述屬性信息調整所獲取的3D模型，得到所述待處理圖像的3D場景。

在一種可選的方式中，所述對待處理圖像進行場景識別包括：

基于所述待處理圖像進行學習得到對應場景的特征圖組；

基于所述特征圖組確定每一特征圖中的細節信息與所述待處理圖像中的物體進行場景的預測。

在一種可選的方式中，所述特征圖組包括：點特征圖、線特征圖、面特征圖、物體特征圖及深度特征圖，所述基于所述待處理圖像進行學習得到對應場景的特征圖組，包括：

將所述待處理圖像輸入至第一特征提取模型進行卷積運算，輸出得到對應的第一特征圖組，所述第一特征圖組的任兩個特征圖的尺度不一致；

將所述第一特征圖組輸入分別至對應的處理模型，輸出得到對應的特征圖。

在一種可選的方式中，所述屬性信息還包括：語義信息，所述基于所述場景信息獲取所述目標物體的3D模型，包括：

基于所述語義信息，確定所述目標物體的類型標簽；

根據所述類型標簽，從3D模型數據庫中匹配對應的3D模型。

在一種可選的方式中，所述屬性信息還包括；所述目標物體的物理特性，所述基于所述場景信息獲取所述目標物體的3D模型，包括：

基于所述目標物體的物理特性，從多個預存的3D模型中匹配對應的3D模型。

在一種可選的方式中，所述目標物體為兩個以上，所述屬性信息還包括：尺寸信息，基于所述屬性信息調整所獲取的3D模型得到所述待處理圖像的3D場景，包括：

基于所述目標物體的尺寸信息，調整所獲取的3D模型的尺寸，調整后的3D模型的尺寸與所述目標物體的尺寸一致；

根據所述深度信息，對所獲取的3D模型進行排序；