[發(fā)明專利]嵌入SENet單元的無(wú)監(jiān)督單目圖像深度圖生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010132191.2
• 申請(qǐng)日: 2020-02-29
• 公開(kāi)（公告）號(hào): CN111354030B
• 公開(kāi)（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 王祝萍;戴新柯;張皓;黃超
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06N3/0464;G06N3/0455;G06N3/088
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

1.一種嵌入SENet單元的無(wú)監(jiān)督單目圖像深度圖生成方法，具體為：構(gòu)建深度估計(jì)網(wǎng)絡(luò)，將目標(biāo)圖像輸入訓(xùn)練好的深度估計(jì)網(wǎng)絡(luò)獲得目標(biāo)圖像深度圖；

所述的訓(xùn)練過(guò)程采用相機(jī)位姿估計(jì)步驟；

其特征在于，所述的深度估計(jì)網(wǎng)絡(luò)包括編碼器和解碼器，所述的編碼器包括7層編碼卷積模塊，所述的解碼器包括交叉設(shè)置的7層解碼卷積模塊和7層與編碼卷積模塊跳躍連接的跳躍卷積模塊，第1層跳躍卷積模塊包括依次連接的卷積層、ReLU激活層、卷積層和ReLU激活層，第2～7層跳躍卷積模塊中每層跳躍卷積模塊包括殘差卷積單元和SENet單元，所述的殘差卷積單元的輸出作為SENet單元的輸入，所述的殘差卷積單元的輸入和輸出以及SENet單元的輸出相加作為第2～7層跳躍卷積模塊中每塊跳躍卷積模塊的輸出；

所述的相機(jī)位姿估計(jì)步驟具體為：

采集包括若干視頻幀集的訓(xùn)練集，構(gòu)建相機(jī)位姿估計(jì)網(wǎng)絡(luò)，將每個(gè)視頻幀集中參考幀I_a及I_a的相鄰幀I_b輸入相機(jī)位姿估計(jì)網(wǎng)絡(luò)獲得相機(jī)六自由度位姿變換關(guān)系P_ab，將I_a和I_b輸入深度估計(jì)網(wǎng)絡(luò)對(duì)應(yīng)獲得參考幀深度圖D_a和相鄰幀深度圖D_b，所述的I_a根據(jù)P_ab通過(guò)形變獲得合成幀I'_α，所述的D_a根據(jù)P_ab通過(guò)形變獲得合成深度圖所述的D_a根據(jù)P_ab通過(guò)投影和雙線性插值生成相鄰幀深度圖D'_b，根據(jù)I_a、I_b、I′_α、和D'_b構(gòu)建損失函數(shù)，利用損失函數(shù)訓(xùn)練深度估計(jì)網(wǎng)絡(luò)；

所述的損失函數(shù)L包括光度損失L_p、平滑損失L_s和幾何一致性損失L_gc，計(jì)算公式為：

L＝L_p+αL_s+βL_gc

其中α、β是L_s在L中所占有的權(quán)重；

所述的L_p的計(jì)算公式為：

其中，V為從I_a成功投影到I_b的點(diǎn)集，p屬于集合V，|V|為V的數(shù)量，λ_s為圖像重投影相似權(quán)重，λ_i為圖像結(jié)構(gòu)相似性權(quán)重，I_α(p)為參考幀I_α上的點(diǎn)，I'_α(p)為根據(jù)P_ab通過(guò)形變獲得合成幀I'_α上的點(diǎn)，SSIM_αα'(p)為I_a和I'_α的圖像相似性損失；

所述的L_s的計(jì)算公式為：

其中，為沿空間方向的一階導(dǎo)數(shù)；

所述的L_gc的計(jì)算公式為：

其中，D_diff(p)為深度不一致值，計(jì)算公式為：

其中，為D_a根據(jù)P_ab通過(guò)形變獲得D_b^a上的點(diǎn)，D'_b(p)為D_a根據(jù)P_ab通過(guò)投影和雙線性插值生成D'_b上的點(diǎn)。