[發(fā)明專利]模型訓(xùn)練方法、三維場景重建方法和裝置

在審

• 申請?zhí)枺?/td>: 202310087535.6
• 申請日: 2023-02-02
• 公開（公告）號: CN116167911A
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 劉建偉
• 申請（專利權(quán)）人: 愛芯元智半導(dǎo)體（上海）有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T15/08;G06T7/73
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 劉海蓮

1.一種模型訓(xùn)練方法，包括：

獲取圖像采集裝置采集的目標(biāo)對象的多張不同視角的樣本圖像，以及所述圖像采集裝置采集所述樣本圖像對應(yīng)的樣本位姿數(shù)據(jù)；

根據(jù)所述樣本位姿數(shù)據(jù)、所述樣本圖像和所述目標(biāo)對象，確定樣本投影范圍；

根據(jù)所述樣本投影范圍，確定多個(gè)樣本有效區(qū)域；

確定所述樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊；

根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像，并行對每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述樣本位姿數(shù)據(jù)、所述樣本圖像和所述目標(biāo)對象，確定樣本投影范圍，包括：

根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像進(jìn)行三維投影，確定樣本投影射線；

根據(jù)所述目標(biāo)對象，確定所述樣本投影射線的樣本起始位置和樣本截止位置；

根據(jù)所述樣本投影射線、所述樣本起始位置和所述樣本截止位置確定所述樣本投影范圍。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述樣本有效區(qū)域?qū)?yīng)的多個(gè)樣本目標(biāo)體素塊，包括：

確定包括所述樣本有效區(qū)域的樣本矩體區(qū)域；

將所述樣本矩體區(qū)域，均勻的劃分為多個(gè)樣本體素塊；

確定所述樣本投影射線經(jīng)過的所述樣本體素塊為所述樣本目標(biāo)體素塊。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像，并行對每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以生成每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型，包括：

根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像，分別確定每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的樣本輸入?yún)?shù)；

并行將每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的所述樣本輸入?yún)?shù)，分別輸入至所述樣本目標(biāo)體素塊對應(yīng)的深度學(xué)習(xí)模型，生成所述樣本目標(biāo)體素塊對應(yīng)的樣本預(yù)測參數(shù)；

根據(jù)所述樣本目標(biāo)體素塊對應(yīng)的所述樣本預(yù)測參數(shù)，生成樣本預(yù)測圖像；

根據(jù)所述樣本預(yù)測圖像和所述樣本圖像，對所述深度學(xué)習(xí)模型進(jìn)行參數(shù)調(diào)整，以生成每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的訓(xùn)練好的深度學(xué)習(xí)模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像，分別確定每個(gè)所述樣本目標(biāo)體素塊對應(yīng)的樣本輸入?yún)?shù)，包括：

根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像，確定所述樣本目標(biāo)體素塊對應(yīng)的樣本位置坐標(biāo)；

根據(jù)所述樣本位姿數(shù)據(jù)和所述樣本圖像進(jìn)行三維投影的樣本投影射線，確定經(jīng)過所述樣本目標(biāo)體素塊的樣本目標(biāo)投影射線；

確定所述樣本目標(biāo)投影射線的起始點(diǎn)和方向。

6.一種三維場景重建方法，包括：

確定圖像采集裝置采集特定視角的圖像的位姿數(shù)據(jù)；

響應(yīng)于所述位姿數(shù)據(jù)屬于目標(biāo)位姿數(shù)據(jù)范圍，根據(jù)所述目標(biāo)位姿數(shù)據(jù)范圍，以及訓(xùn)練好的深度學(xué)習(xí)模型，生成所述特定視角的三維圖像，其中，所述訓(xùn)練好的深度學(xué)習(xí)模型，為采用如權(quán)利要求1至5中任一項(xiàng)所述的方法進(jìn)行訓(xùn)練得到的。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

確定如權(quán)利要求1至5中任一項(xiàng)所述的方法中，獲取的所述圖像采集裝置采集樣本圖像對應(yīng)的樣本位姿數(shù)據(jù)；

根據(jù)所述樣本位姿數(shù)據(jù)確定所述目標(biāo)位姿數(shù)據(jù)范圍。