[發明專利]實例對象模型構建方法及裝置、可讀介質和電子設備

在審

• 申請號: 202011408772.0
• 申請日: 2020-12-04
• 公開（公告）號: CN112598780A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 楊宇塵;李姬俊男
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T7/11;G06T7/13;G06K9/46;G06K9/62;G06N3/063
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開提供一種實例對象模型構建方法及裝置、可讀介質和電子設備，涉及增強現實技術領域。該方法包括：獲取當前環境對應的全景圖像幀；基于所述全景圖像幀對所述當前環境進行三維重建處理，得到所述當前環境對應的環境點云數據；對所述全景圖像幀進行語義分割處理，確定所述全景圖像幀中的實例對象對應的圖像區域；通過所述圖像區域與所述環境點云數據之間的映射關系，構建所述實例對象對應的實例對象點云數據，以通過所述實例對象點云數據構建實例對象模型。本公開能夠將現實環境中的實例對象構建成實例對象模型，以便于進一步的編輯處理，提升實例對象模型的構建效率，以及提高模型的準確性和真實性。

技術領域

本公開涉及增強現實技術領域，具體涉及一種實例對象模型構建方法、實例對象模型構建裝置、計算機可讀介質和電子設備。

背景技術

伴隨著人們生活水平的不斷提高，增強現實技術(Augmented Reality，AR)越來越得到人們的廣泛關注。

目前，通過虛擬現實技術還原真實環境例如AR看房、AR房屋裝修等技術方案中，一般是由專業的建模人員，根據用戶提供的真實環境的圖片對真實環境進行建模，以構建真實環境的虛擬場景。但是，這種技術方案中，一方面，由建模人員依據真實環境的圖片進行虛擬場景的構建，不僅構建效率低下，而且在一些特殊場景如AR看房的場景中，由于每套房間都有不同的設計，需要構建大量的虛擬場景，浪費大量人力物力；另一方面，由建模人員構建的虛擬場景，一般不能由用戶進行自由編輯，復用效果較差，并且虛擬場景的真實性以及準確性較差，影響用戶的使用體驗。

發明內容

本公開的目的在于提供一種實例對象模型構建方法、實例對象模型構建裝置、計算機可讀介質和電子設備，進而至少在一定程度上克服相關技術中真實環境構建效率較低、準確性以及真實性較差、不能由用戶自由編輯的問題。

根據本公開的第一方面，提供一種實例對象模型構建方法，包括：

獲取當前環境對應的全景圖像幀；

基于所述全景圖像幀對所述當前環境進行三維重建處理，得到所述當前環境對應的環境點云數據；

對所述全景圖像幀進行語義分割處理，確定所述全景圖像幀中的實例對象對應的圖像區域；

通過所述圖像區域與所述環境點云數據之間的映射關系，構建所述實例對象對應的實例對象點云數據，以通過所述實例對象點云數據構建實例對象模型。

根據本公開的第二方面，提供一種實例對象模型構建裝置，包括：

環境圖像幀獲取模塊，用于獲取當前環境對應的全景圖像幀；

環境點云數據生成模型，用于基于所述全景圖像幀對所述當前環境進行三維重建處理，得到所述當前環境對應的環境點云數據；

實例對象分割模塊，用于對所述全景圖像幀進行語義分割處理，確定所述全景圖像幀中的實例對象對應的圖像區域；

實例對象模型構建模型，用于通過所述圖像區域與所述環境點云數據之間的映射關系，構建所述實例對象對應的實例對象點云數據，以通過所述實例對象點云數據構建實例對象模型。

根據本公開的第三方面，提供一種計算機可讀介質，其上存儲有計算機程序，計算機程序被處理器執行時實現上述的方法。

根據本公開的第四方面，提供一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執行時，使得一個或多個處理器實現上述的方法。