[發(fā)明專利]一種基于ASPP-CycleGAN的深度估計(jì)系統(tǒng)及其算法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110556630.7
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113298861B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 張昀;徐欽晨;李潤(rùn)琦;姚成杰;毛新濤;黃橙;吳夢(mèng)潔;于舒娟
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06T7/593
• 分類號(hào): G06T7/593;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 韓紅莉

本發(fā)明公開了一種基于ASPP?CycleGAN的深度估計(jì)系統(tǒng)及其算法，構(gòu)建ASPP?CycleGAN模型，ASPP?CycleGAN模型中包括兩個(gè)生成對(duì)抗網(wǎng)絡(luò)；兩個(gè)生成對(duì)抗網(wǎng)絡(luò)均包括生成器和判別器；生成器引用空洞卷積的空間金字塔，判別器采用多層全域卷積結(jié)構(gòu)。在生成器的編碼器和解碼器之間添加基于空洞卷積的空間金字塔結(jié)構(gòu)，用來提取多尺度信息；且在提取多尺度信息的同時(shí)避免了過多下采樣層，有效減少了模型參數(shù)計(jì)算量并很好的保留了特征的細(xì)節(jié)信息。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于ASPP-CycleGAN的深度估計(jì)系統(tǒng)及其算法，屬于計(jì)算機(jī)視覺中的場(chǎng)景重建技術(shù)領(lǐng)域。

背景技術(shù)

深度學(xué)習(xí)經(jīng)過多年的發(fā)展，已經(jīng)在很多領(lǐng)域取得突破性進(jìn)展。為了進(jìn)一步提升深度模型的性能，學(xué)者們聚焦于從網(wǎng)絡(luò)層數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)兩方面進(jìn)行繼續(xù)探索。一方面，深度模型的性能在一定程度上隨著網(wǎng)絡(luò)層數(shù)的增加而提高。然而，過度增加網(wǎng)絡(luò)層數(shù)導(dǎo)致參數(shù)量過大，訓(xùn)練過程中容易出現(xiàn)過擬合。因此，研究者們提出了結(jié)構(gòu)更為多樣的深度學(xué)習(xí)模型。例如，Inception網(wǎng)絡(luò)結(jié)構(gòu)[Szegedy C,Liu W,Jia Y,et al.Going deeper withconvolutions[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2015:1-9.]、殘差網(wǎng)絡(luò)結(jié)構(gòu)[He K,Zhang X,Ren S,et al.Deepresidual learning for image recognition[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2016:770-778.]、密集連接網(wǎng)絡(luò)結(jié)構(gòu)[Huang G,Liu Z,Van Der Maaten L,et al.Densely connected convolutionalnetworks[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2017:4700-4708.]等。此外，深度學(xué)習(xí)不斷與其他機(jī)器學(xué)習(xí)方法融合發(fā)展。例如：深度強(qiáng)化學(xué)習(xí)技術(shù)結(jié)合深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力，使模型不局限于離散低維的數(shù)據(jù)[劉全,翟建偉,章宗長(zhǎng),等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào),2018,41(1):1-27.]；深度遷移學(xué)習(xí)技術(shù)[莊福振,羅平,何清,等.遷移學(xué)習(xí)研究進(jìn)展[J].軟件學(xué)報(bào),2015,26(1):26-39.]將遷移學(xué)習(xí)思想引入深度學(xué)習(xí)，只需要少量的訓(xùn)練數(shù)據(jù)就可以達(dá)到較好的效果。

單目圖片深度估計(jì)旨在輸出二維單視點(diǎn)圖片的逐像素深度。由于大多數(shù)現(xiàn)實(shí)場(chǎng)景只提供單視點(diǎn)的數(shù)據(jù)，單目圖片深度估計(jì)相比于雙目圖片更能貼合實(shí)際應(yīng)用。基于不同的深度學(xué)習(xí)訓(xùn)練方式，單目圖片深度估計(jì)可以分為有監(jiān)督式深度估計(jì)、無監(jiān)督以及半監(jiān)督式深度估計(jì)和其他信息輔助的深度估計(jì)[黃軍,王聰,劉越,等.單目深度估計(jì)技術(shù)進(jìn)展綜述[J].2019.]。

受零和博弈論[王坤峰,茍超,段艷杰,等.生成式對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望[J].自動(dòng)化學(xué)報(bào),2017,43(3):321-332.]的啟發(fā)，最基本的生成對(duì)抗網(wǎng)絡(luò)包含生成網(wǎng)絡(luò)\生成器(Generator Network)和判別網(wǎng)絡(luò)\判別器(Discrimirator Network)。生成器G從給定的分布中獲得一個(gè)隨機(jī)噪聲的采樣z作為輸入，輸出一個(gè)與真實(shí)樣本分布盡可能相似的x^。判別器D的輸入來自于兩部分?jǐn)?shù)據(jù)，一是真實(shí)樣本x，二是生成網(wǎng)絡(luò)的輸出x^。在訓(xùn)練過程中，生成器G的目標(biāo)是擬合真實(shí)樣本的分布，讓輸出x^與x盡可能相似，“騙過”判別器；判別器D則需盡可能辨別輸入樣本是真實(shí)樣本x還是生成器的輸出x^，找出生成器生成的“假數(shù)據(jù)”[王坤峰,茍超,段艷杰,等.生成式對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望[J].自動(dòng)化學(xué)報(bào),2017,43(3):321-332.]。最終，二者在相互博弈中不斷提升各自的能力，最終達(dá)到納什平衡點(diǎn)[李政國(guó),蘇榮才,溫長(zhǎng)云,等.廣義Nash平衡點(diǎn)和切換控制在對(duì)策論中的應(yīng)用[D].,2006.]。訓(xùn)練結(jié)束后，生成器可以從隨機(jī)樣本中生成逼真的圖像而判別器無法辨別圖像是真實(shí)樣本還是生成器的輸出。