[發(fā)明專利]基于三維重建的模型訓(xùn)練方法、三維重建方法及裝置

在審

• 申請?zhí)枺?/td>: 202310525310.4
• 申請日: 2023-05-10
• 公開（公告）號: CN116563493A
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 李順愷;張維一;郭小燕
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/55;G06T7/73;G06N3/0464;G06N3/08
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 劉莉

1.一種基于三維重建的模型訓(xùn)練方法，其特征在于，包括：

獲取至少一初始圖像，以及每個所述初始圖像對應(yīng)的位姿與稀疏點(diǎn)云；

獲取預(yù)先構(gòu)建的初始網(wǎng)絡(luò)模型，由所述初始網(wǎng)絡(luò)模型基于所述初始圖像與所述初始圖像的稀疏點(diǎn)云，確定所述初始圖像的稀疏點(diǎn)云對應(yīng)的至少一實(shí)際深度值；

由所述初始網(wǎng)絡(luò)模型基于所述實(shí)際深度值與所述初始圖像的位姿，確定所述初始圖像的稠密深度圖；

基于所述實(shí)際深度值與所述稠密深度圖的深度值，確定所述初始網(wǎng)絡(luò)模型對應(yīng)的目標(biāo)損失函數(shù)；

基于所述目標(biāo)損失函數(shù)對所述初始網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練，得到三維重建模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述由所述初始網(wǎng)絡(luò)模型基于所述初始圖像與所述初始圖像的稀疏點(diǎn)云，確定所述初始圖像的稀疏點(diǎn)云對應(yīng)的至少一實(shí)際深度值，包括：

通過所述初始網(wǎng)絡(luò)模型將所述稀疏點(diǎn)云投影至所述初始圖像上，得到所述初始圖像對應(yīng)的稀疏深度圖；

基于所述稀疏深度圖，確定所述初始圖像對應(yīng)的最大深度值與最小深度值；

基于所述最大深度值與所述最小深度值生成深度區(qū)間；

獲取深度劃分?jǐn)?shù)量，基于所述深度劃分?jǐn)?shù)量對所述深度區(qū)間進(jìn)行劃分處理，得到所述初始圖像對應(yīng)的多個實(shí)際深度值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述由所述初始網(wǎng)絡(luò)模型基于所述實(shí)際深度值與所述初始圖像的位姿，確定所述初始圖像的稠密深度圖，包括：

由所述初始網(wǎng)絡(luò)模型對至少一所述初始圖像進(jìn)行第一特征提取，得到各所述初始圖像對應(yīng)的特征向量；

針對各所述實(shí)際深度值，基于至少一所述初始圖像的位姿，分別對所述特征向量進(jìn)行投影處理，得到三維投影特征；

基于所述三維投影特征生成所述初始圖像對應(yīng)的代價體；

基于所述代價體生成所述初始圖像的稠密深度圖。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述初始網(wǎng)絡(luò)模型包括三維卷積網(wǎng)絡(luò)與二維卷積網(wǎng)絡(luò)，所述稠密深度圖包括初始稠密深度圖與目標(biāo)稠密深度圖；所述基于所述代價體生成所述初始圖像的稠密深度圖，包括：

獲取所述三維卷積網(wǎng)絡(luò)對應(yīng)的三維卷積核；

基于所述三維卷積核對所述代價體進(jìn)行三維卷積處理，得到所述初始圖像對應(yīng)的初始稠密深度圖；

獲取所述二維卷積網(wǎng)絡(luò)對應(yīng)的二維卷積核；

對所述初始稠密深度圖進(jìn)行二維卷積處理，得到所述目標(biāo)稠密深度圖。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始圖像包括同一場景下多個不同視角的圖像；所述基于所述實(shí)際深度值與所述稠密深度圖的深度值，確定所述初始網(wǎng)絡(luò)模型對應(yīng)的目標(biāo)損失函數(shù)，包括：

構(gòu)建所述稠密深度圖的深度值與所述實(shí)際深度值之間的深度損失函數(shù)；

生成所述初始圖像對應(yīng)的合成視角圖像，確定所述合成視角圖像與所述初始圖像之間的光度誤差函數(shù)，所述合成視角圖像包括所述初始圖像在不同視角下合成的圖像；

確定所述初始圖像與所述合成視角圖像之間的結(jié)構(gòu)相似函數(shù)；

確定所述初始圖像在不同視角下的幾何一致性誤差函數(shù)，并確定所述稠密深度圖的深度值對應(yīng)的平滑性約束函數(shù)；

基于所述深度損失函數(shù)、所述光度誤差函數(shù)、所述結(jié)構(gòu)相似函數(shù)、所述幾何一致性誤差函數(shù)以及所述平滑性約束函數(shù)中任意一種或多種的組合，構(gòu)建所述目標(biāo)損失函數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述構(gòu)建所述稠密深度圖的深度值與所述實(shí)際深度值之間的深度損失函數(shù)，包括：

獲取所述初始圖像對應(yīng)的稀疏深度圖，確定所述稀疏深度圖對應(yīng)的圖像分割尺寸，所述實(shí)際深度值基于所述稀疏深度圖確定；

基于所述圖像分割尺寸對所述稀疏深度圖進(jìn)行分割處理，得到至少一區(qū)域深度圖；

將各所述區(qū)域深度圖中稀疏點(diǎn)對應(yīng)的稀疏深度值，作為區(qū)域?qū)嶋H深度值；

基于所述稠密深度圖的深度值，確定各所述區(qū)域深度圖中稀疏點(diǎn)對應(yīng)的區(qū)域預(yù)測深度值；

基于所述區(qū)域預(yù)測深度值與所述區(qū)域?qū)嶋H深度值之間的深度誤差，構(gòu)建所述深度損失函數(shù)。