[發(fā)明專利]一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010156347.0
• 申請(qǐng)日: 2020-03-09
• 公開（公告）號(hào): CN111402311B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 周遠(yuǎn)波;李根;童同;羅鳴;高欽泉
• 申請(qǐng)（專利權(quán)）人: 福建帝視信息科技有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

1.一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法，其特征在于，包括以下步驟：

步驟S1:構(gòu)建教師網(wǎng)絡(luò)；

步驟S2:將I_left和I_right圖像輸入到教師網(wǎng)絡(luò)中，進(jìn)行特征提取并進(jìn)行特征融合，得到4維特征圖(B,C,H,W)；

步驟S3:將不同視差位置對(duì)應(yīng)的4維特征圖(B,C,H,W)相減構(gòu)建5維的CostVolume(B,C,D,H,W)，并將其表示成A_T；

步驟S4:將A_T通過3D卷積模塊，融合不同視差下的特征相匹配的代價(jià),得到融合后的CostVolume；

步驟S5:根據(jù)步驟S2的特征融合，指導(dǎo)SGA層的參數(shù)；

步驟S6:將融合后的CostVolume通過SGA層，精細(xì)化CostVolume；

步驟S7：根據(jù)步驟S2的特征融合，指導(dǎo)LGA層的參數(shù)；

步驟S8:將步驟S6中精細(xì)化后的CostVolume，通過LGA層得到最終的CostVolume，并表示為X_T；

步驟S9:將X_T通過視差回歸層，得到最終的視差圖；

步驟S10:構(gòu)建學(xué)生網(wǎng)絡(luò)；

步驟11：將I_left和I_right圖像輸入到學(xué)生網(wǎng)絡(luò)中，進(jìn)行特征提取并進(jìn)行特征融合，得到4維特征圖(B,C,H,W)；

步驟S12:將不同視差位置對(duì)應(yīng)的4維特征圖(B,C,H,W)相減構(gòu)建5維的CostVolume(B,C,D,H,W)，并將其表示成A_S，并將教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的CostVolume歸一化后構(gòu)建A_T和A_S做SmoothL1-Loss；

步驟S13:將A_S經(jīng)過3D卷積信息融合得到X_S,并將教師網(wǎng)絡(luò)的輸出X_T和學(xué)生網(wǎng)絡(luò)的輸出X_S歸一化后做SmoothL1-Loss；

步驟S14:將X_S經(jīng)過視差回歸層，得到最終的視差圖；

步驟S15:將學(xué)生網(wǎng)絡(luò)生成的視差圖I_dis與真實(shí)值I_GT做SmoothL1-Loss；

步驟S16：考慮到每個(gè)Loss的貢獻(xiàn)程度，將步驟S12、S13、S15中的Loss進(jìn)行加權(quán)構(gòu)建最終的總體Loss；

步驟S17:將教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)根據(jù)步驟16中的總Loss選擇Adam優(yōu)化算法進(jìn)行優(yōu)化，直到收斂停止，最終輸出估計(jì)的視差圖I_dis。

2.根據(jù)權(quán)利要求1所述的一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法，其特征在于：所述教師網(wǎng)絡(luò)由2D卷積模塊、3D卷積模塊、CostVolume模塊、LGA層、SGA層和視差回歸層組成。

3.根據(jù)權(quán)利要求2所述的一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法，其特征在于：所述2D卷積模塊包括2D卷積、2D批量歸一化層以及ReLU激活函數(shù)；所述3D卷積模塊包括3D卷積、3D批量歸一化層以及ReLU激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法，其特征在于：所述視差回歸層的計(jì)算公式如下：

其中σ(·)表示softmax運(yùn)算。

5.根據(jù)權(quán)利要求1所述的一種基于知識(shí)蒸餾的輕量級(jí)立體視差估計(jì)方法，其特征在于：所述學(xué)生網(wǎng)絡(luò)由2D卷積模塊、3D卷積模塊、CostVolume模塊和視差回歸層組成。