[發明專利]一種3D場景生成方法及裝置

有效

• 申請號: 202210036177.1
• 申請日: 2022-01-13
• 公開（公告）號: CN114049444B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 趙開勇
• 申請（專利權）人: 深圳市其域創新科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20;G06N3/04;G06N3/08
• 代理公司: 深圳市愛迪森知識產權代理事務所(普通合伙) 44341
• 代理人: 何婷

1.一種3D場景生成方法，其特征在于，包括：

對待處理圖像進行場景預測，得到場景信息，所述場景信息包括所述圖像中的目標物體的屬性信息，所述屬性信息至少包括深度信息；

基于所述場景信息獲取所述目標物體的3D模型；

基于所述屬性信息調整所獲取的3D模型，得到所述待處理圖像的3D場景；

所述對待處理圖像進行場景預測包括：

通過多任務學習對所述待處理圖像進行學習，得到對應場景的特征圖組，所述特征圖組包括：點特征圖、線特征圖、面特征圖、物體特征圖及深度特征圖；

基于所述特征圖組確定每一特征圖中的細節信息與所述待處理圖像中的物體進行場景的預測；

所述屬性信息還包括；所述目標物體的物理特性，所述基于所述場景信息獲取所述目標物體的3D模型，包括：

基于所述目標物體的物理特性，從多個預存的3D模型中匹配對應的3D模型；

在所述基于所述目標物體的物理特性，從多個預存的3D模型中匹配對應的3D模型之后，所述方法還包括：

判斷與所述目標物體的物理特性最匹配的3D模型與所述目標物體的物理特性的近似程度；

若所述近似程度小于第二預設閾值，將所述最為匹配的3D模型從所述3D模型數據庫中取出；

依據所述目標物體的物理特性調整所述最為匹配的3D模型，以使所述最為匹配的3D模型與所述目標物體的物理特性的近似程度大于或等于所述第二預設閾值。

2.根據權利要求1所述的3D場景生成方法，其特征在于，所述基于所述待處理圖像進行學習得到對應場景的特征圖組，包括：

將所述待處理圖像輸入至第一特征提取模型進行卷積運算，輸出得到對應的第一特征圖組，所述第一特征圖組的任兩個特征圖的尺度不一致；

將所述第一特征圖組輸入分別至對應的處理模型，輸出得到對應的特征圖。

3.根據權利要求1所述的3D場景生成方法，其特征在于，所述屬性信息還包括：語義信息，所述基于所述場景信息獲取所述目標物體的3D模型，包括：

基于所述語義信息，確定所述目標物體的類型標簽；

根據所述類型標簽，從3D模型數據庫中匹配對應的3D模型。

4.根據權利要求3所述的3D場景生成方法，其特征在于，所述目標物體為兩個以上，所述屬性信息還包括：尺寸信息，基于所述屬性信息調整所獲取的3D模型得到所述待處理圖像的3D場景，包括：

基于所述目標物體的尺寸信息，調整所獲取的3D模型的尺寸，調整后的3D模型的尺寸與所述目標物體的尺寸一致；

根據所述深度信息，對所獲取的3D模型進行排序；

基于所述深度信息對所述目標物體進行碰撞檢測，基于碰撞結果調整所述對應目標物體的最終位置。

5.根據權利要求4所述的3D場景生成方法，其特征在于，所述基于所述深度信息對所述目標物體進行碰撞檢測，基于碰撞結果調整所述對應目標物體的最終位置，包括：

計算任兩個目標物體之間的深度差值；

若所述深度差值小于第一預設閾值，且所述兩個目標物體存在遮擋關系，確定所述兩個目標物體為碰撞物體；

將所述兩個目標物體錯開放置。