[發(fā)明專利]模型訓(xùn)練方法、三維場(chǎng)景重建方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310087535.6
• 申請(qǐng)日: 2023-02-02
• 公開（公告）號(hào): CN116167911A
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 劉建偉
• 申請(qǐng)（專利權(quán)）人: 愛芯元智半導(dǎo)體（上海）有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T15/08;G06T7/73
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 劉海蓮

本公開提供了模型訓(xùn)練方法、三維場(chǎng)景重建方法和裝置，涉及人工智能技術(shù)領(lǐng)域。實(shí)現(xiàn)方案為：獲取圖像采集裝置采集的目標(biāo)對(duì)象的多張不同視角的樣本圖像，以及圖像采集裝置采集樣本圖像對(duì)應(yīng)的樣本位姿數(shù)據(jù)；根據(jù)樣本位姿數(shù)據(jù)、樣本圖像和目標(biāo)對(duì)象，確定樣本投影范圍；確定多個(gè)樣本有效區(qū)域；確定樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊；并行對(duì)每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。由此，并行有選擇的訓(xùn)練樣本體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型，訓(xùn)練速度快，并且得到的訓(xùn)練好的深度學(xué)習(xí)模型可以并行進(jìn)行三維重建，在節(jié)省存儲(chǔ)量的同時(shí)，能夠加快三維重建的速度。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種模型訓(xùn)練方法、三維場(chǎng)景重建方法和裝置。

背景技術(shù)

隨著科學(xué)技術(shù)的不斷發(fā)展，提出基于計(jì)算機(jī)的三維重建，可進(jìn)行物體的三維重建，或場(chǎng)景的三維重建。

相關(guān)技術(shù)中，在計(jì)算機(jī)內(nèi)進(jìn)行物體或場(chǎng)景的三維重建，可以根據(jù)單視圖或多視圖，進(jìn)行圖像重建三維信息，但是，三維重建的過程非常緩慢，這是亟需解決的問題。

發(fā)明內(nèi)容

本公開提供了一種模型訓(xùn)練方法、三維場(chǎng)景重建方法和裝置，以并行有選擇的訓(xùn)練樣本體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型，訓(xùn)練速度快，并且得到的訓(xùn)練好的深度學(xué)習(xí)模型可以并行進(jìn)行三維重建，在節(jié)省存儲(chǔ)量的同時(shí)，能夠加快三維重建的速度，保障三維重建的圖像生成質(zhì)量。

根據(jù)本公開的一方面，提供一種模型訓(xùn)練方法，包括：獲取圖像采集裝置采集的目標(biāo)對(duì)象的多張不同視角的樣本圖像，以及圖像采集裝置采集樣本圖像對(duì)應(yīng)的樣本位姿數(shù)據(jù)；根據(jù)樣本位姿數(shù)據(jù)、樣本圖像和目標(biāo)對(duì)象，確定樣本投影范圍；根據(jù)樣本投影范圍，確定多個(gè)樣本有效區(qū)域；確定樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊；根據(jù)樣本位姿數(shù)據(jù)和樣本圖像，并行對(duì)每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。

通過實(shí)施本公開實(shí)施例，獲取圖像采集裝置采集的目標(biāo)對(duì)象的多張不同視角的樣本圖像，以及圖像采集裝置采集樣本圖像對(duì)應(yīng)的樣本位姿數(shù)據(jù)；根據(jù)樣本位姿數(shù)據(jù)、樣本圖像和目標(biāo)對(duì)象，確定樣本投影范圍；根據(jù)樣本投影范圍，確定多個(gè)樣本有效區(qū)域；確定樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊；根據(jù)樣本位姿數(shù)據(jù)和樣本圖像，并行對(duì)每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。由此，并行有選擇的訓(xùn)練樣本體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型，訓(xùn)練速度快，并且得到的訓(xùn)練好的深度學(xué)習(xí)模型可以并行進(jìn)行三維重建，在節(jié)省存儲(chǔ)量的同時(shí)，能夠加快三維重建的速度，保障三維重建的圖像生成質(zhì)量。

根據(jù)本公開的二方面，提供一種三維場(chǎng)景重建方法，包括：確定圖像采集裝置采集特定視角的圖像的位姿數(shù)據(jù)；響應(yīng)于位姿數(shù)據(jù)屬于目標(biāo)位姿數(shù)據(jù)范圍，根據(jù)目標(biāo)位姿數(shù)據(jù)范圍，以及訓(xùn)練好的深度學(xué)習(xí)模型，生成特定視角的三維圖像，其中，訓(xùn)練好的深度學(xué)習(xí)模型，為采用如上面一些實(shí)施例的方法進(jìn)行訓(xùn)練得到的。

根據(jù)本公開的第三方面，提供了一種模型訓(xùn)練裝置，包括：數(shù)據(jù)獲取單元，用于獲取圖像采集裝置采集的目標(biāo)對(duì)象的多張不同視角的樣本圖像，以及圖像采集裝置采集樣本圖像對(duì)應(yīng)的樣本位姿數(shù)據(jù)；樣本投影范圍確定單元，用于根據(jù)樣本位姿數(shù)據(jù)、樣本圖像和目標(biāo)對(duì)象，確定樣本投影范圍；樣本有效區(qū)域確定單元，用于根據(jù)樣本投影范圍，確定多個(gè)樣本有效區(qū)域；樣本目標(biāo)體素塊確定單元，用于確定樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊；模型訓(xùn)練單元，用于根據(jù)樣本位姿數(shù)據(jù)和樣本圖像，并行對(duì)每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)樣本目標(biāo)體素塊對(duì)應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。

根據(jù)本公開的第四方面，提供了一種三維場(chǎng)景重建裝置，包括：位姿數(shù)據(jù)確定單元，用于確定圖像采集裝置采集特定視角的圖像的位姿數(shù)據(jù)；三維圖像生成單元，用于響應(yīng)于位姿數(shù)據(jù)屬于目標(biāo)位姿數(shù)據(jù)范圍，根據(jù)目標(biāo)位姿數(shù)據(jù)范圍，以及訓(xùn)練好的深度學(xué)習(xí)模型，生成特定視角的三維圖像，其中，訓(xùn)練好的深度學(xué)習(xí)模型，為采用如上面一些實(shí)施例的方法進(jìn)行訓(xùn)練得到的。