[發(fā)明專利]一種基于無(wú)監(jiān)督自適應(yīng)網(wǎng)絡(luò)的水下雙目深度估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111589965.5
• 申請(qǐng)日: 2021-12-23
• 公開(kāi)（公告）號(hào): CN114299130A
• 公開(kāi)（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 葉昕辰;原雅芝;仲維;徐睿;樊鑫
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T7/593
• 分類號(hào): G06T7/593;G06T5/00;G06K9/62;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 遼寧鴻文知識(shí)產(chǎn)權(quán)代理有限公司 21102
• 代理人: 隋秀文

本發(fā)明公開(kāi)一種基于無(wú)監(jiān)督自適應(yīng)網(wǎng)絡(luò)的水下雙目深度估計(jì)方法，屬于圖像處理與計(jì)算機(jī)立體視覺(jué)領(lǐng)域。本發(fā)明包括表觀層的風(fēng)格自適應(yīng)子模塊與語(yǔ)義層的特征自適應(yīng)子模塊。首先，本發(fā)明利用風(fēng)格自適應(yīng)子模塊生成水下仿真數(shù)據(jù)，緩解水下真實(shí)環(huán)境標(biāo)簽數(shù)據(jù)匱乏的問(wèn)題；同時(shí)將特征自適應(yīng)子模塊應(yīng)用于深度估計(jì)骨干網(wǎng)絡(luò)的訓(xùn)練，以克服仿真數(shù)據(jù)與真實(shí)水下數(shù)據(jù)之間域差異過(guò)大，無(wú)法直接遷移陸地場(chǎng)景深度估計(jì)模型的困難。通過(guò)將本發(fā)明所提出的自適應(yīng)模塊集成到現(xiàn)有的深度估計(jì)網(wǎng)絡(luò)中，能夠?qū)崿F(xiàn)從水下數(shù)據(jù)的表觀層到語(yǔ)義層的逐步自適應(yīng)效果，進(jìn)而從真實(shí)水下立體圖像中推斷高精度視差圖。實(shí)驗(yàn)結(jié)果表明，與其他水下深度估計(jì)方法相比，本發(fā)明所提方法具有更好的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理與計(jì)算機(jī)立體視覺(jué)領(lǐng)域，具體涉及到一種基于無(wú)監(jiān)督自適應(yīng)網(wǎng)絡(luò)的水下雙目深度估計(jì)方法。

背景技術(shù)

隨著計(jì)算機(jī)立體視覺(jué)技術(shù)的發(fā)展，雙目深度估計(jì)不僅在自動(dòng)駕駛等陸地場(chǎng)景的立體視覺(jué)任務(wù)中廣泛應(yīng)用，同時(shí)也逐漸在水下環(huán)境感知在海洋探索中占據(jù)越發(fā)重要的作用，尤其體現(xiàn)在水下探測(cè)、定位、捕撈等近距離感知場(chǎng)景中。然而，基于深度學(xué)習(xí)的方法在水下真實(shí)數(shù)據(jù)的深度估計(jì)性能遇到了諸多瓶頸。具體而言，受弱光照條件和幾何失真等因素影響，水下深度傳感設(shè)備造價(jià)高昂，有深度標(biāo)簽水下彩色圖像數(shù)據(jù)獲取成本過(guò)高，且水下場(chǎng)景色彩變化和圖像模糊現(xiàn)象也無(wú)法避免，因此，利用充足的高質(zhì)量立體圖像對(duì)監(jiān)督訓(xùn)練水下深度估計(jì)網(wǎng)絡(luò)是不切實(shí)際的。此外，不同場(chǎng)景下采集的數(shù)據(jù)存在極大的域間差異，導(dǎo)致現(xiàn)有的深度估計(jì)模型無(wú)法直接通過(guò)遷移學(xué)習(xí)模式應(yīng)用于水下場(chǎng)景，在一定程度上限制了水下深度估計(jì)網(wǎng)絡(luò)的性能提升。

為了解決水下深度估計(jì)中訓(xùn)練數(shù)據(jù)的局限性，現(xiàn)有的方法一般采用圖像生成技術(shù)合成水下風(fēng)格數(shù)據(jù)，并基于水下風(fēng)格數(shù)據(jù)及對(duì)應(yīng)的深度圖額外訓(xùn)練深度估計(jì)網(wǎng)絡(luò)。但此類方法多數(shù)基于單目深度估計(jì)模式，并未考慮單目圖像預(yù)測(cè)時(shí)幾何約束缺乏的高度不適定問(wèn)題。另一類常用的方法基于雙目無(wú)監(jiān)督模式，以立體圖像對(duì)作為輸入，并利用立體對(duì)之間的光度一致性輔助訓(xùn)練。然而，現(xiàn)有的方法只是簡(jiǎn)單地使用水下立體數(shù)據(jù)來(lái)訓(xùn)練現(xiàn)有的無(wú)監(jiān)督骨干網(wǎng)絡(luò)，而不考慮水下數(shù)據(jù)的基本退化特征，理想的深度估計(jì)性能依舊難以企及。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明深入研究基于立體圖像對(duì)的深度估計(jì)任務(wù)。本發(fā)明的核心思想是利用有深度標(biāo)簽的陸上立體數(shù)據(jù)集和無(wú)標(biāo)簽的真實(shí)水下立體數(shù)據(jù)集，在充分考慮水下數(shù)據(jù)退化特性的前提下，通過(guò)學(xué)習(xí)水下數(shù)據(jù)特征，逐步訓(xùn)練立體匹配網(wǎng)絡(luò)，推斷高精度水下深度圖。本發(fā)明提出的方法主要包含表觀層的風(fēng)格自適應(yīng)子模塊和語(yǔ)義層的特征自適應(yīng)子模塊，以無(wú)監(jiān)督域適應(yīng)的訓(xùn)練方式，有效縮小域間差異。實(shí)驗(yàn)結(jié)果表明，與其他最先進(jìn)的水下深度估計(jì)方法相比，本發(fā)明成功地取得了更好的水下雙目深度估計(jì)性能。

本發(fā)明以水下場(chǎng)景立體視覺(jué)感知技術(shù)為核心問(wèn)題，針對(duì)現(xiàn)有的深度學(xué)習(xí)方法對(duì)高質(zhì)量訓(xùn)練數(shù)據(jù)的過(guò)度依賴問(wèn)題，缺乏對(duì)無(wú)監(jiān)督水下立體視覺(jué)技術(shù)的深入研究，設(shè)計(jì)一種基于無(wú)監(jiān)督自適應(yīng)網(wǎng)絡(luò)的水下雙目深度估計(jì)方法，通過(guò)構(gòu)建風(fēng)格和特征自適應(yīng)模塊，挖掘水下真實(shí)場(chǎng)景的復(fù)雜視覺(jué)規(guī)律，實(shí)現(xiàn)高效的水下雙目深度估計(jì)。首先針對(duì)水下環(huán)境復(fù)雜多變導(dǎo)致測(cè)距精度低的問(wèn)題，提取水下場(chǎng)景關(guān)鍵特征，研發(fā)水下圖像轉(zhuǎn)換方法。其次研究水下低紋理環(huán)境下的的視差估計(jì)方法，構(gòu)建無(wú)監(jiān)督水下立體匹配網(wǎng)絡(luò)，通過(guò)域適應(yīng)的訓(xùn)練方式解決仿真數(shù)據(jù)與真實(shí)水下圖像之間的域間差異，實(shí)現(xiàn)水下圖像的高精度立體匹配。

本發(fā)明的具體技術(shù)方案：

一種基于無(wú)監(jiān)督自適應(yīng)網(wǎng)絡(luò)的水下雙目深度估計(jì)方法，包括風(fēng)格自適應(yīng)子模塊和特征自適應(yīng)子模塊兩部分。其中，風(fēng)格自適應(yīng)子模塊通過(guò)將深度信息引入仿真水下數(shù)據(jù)，生成符合自然場(chǎng)景條件下不同水下風(fēng)格的圖像，并考慮左右圖像的視差一致性以約束圖像生成過(guò)程中可能產(chǎn)生的畸變。特征自適應(yīng)子模塊針對(duì)仿真數(shù)據(jù)無(wú)法完全擬合水下圖像語(yǔ)義層特征而導(dǎo)致的性能瓶頸，通過(guò)教師-學(xué)生兩個(gè)網(wǎng)絡(luò)的協(xié)同訓(xùn)練，縮小仿真數(shù)據(jù)與真實(shí)水下數(shù)據(jù)間的域差異，進(jìn)一步提升水下雙目深度估計(jì)性能。