[發(fā)明專利]基于未訓(xùn)練深度解碼神經(jīng)網(wǎng)絡(luò)的非視域成像方法

在審

• 申請?zhí)枺?/td>: 202111489994.4
• 申請日: 2021-12-08
• 公開（公告）號: CN114494480A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 孟祥鋒;劉守佩;吳華錚;楊修倫;殷永凱
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南金迪知識產(chǎn)權(quán)代理有限公司 37219
• 代理人: 陳桂玲

一種基于未訓(xùn)練深度解碼神經(jīng)網(wǎng)絡(luò)的非視域成像方法，將非視域成像物理前向傳輸模型融入到一個神經(jīng)網(wǎng)絡(luò)中去，利用二者的相互作用，網(wǎng)絡(luò)的權(quán)重參數(shù)能夠自動更新優(yōu)化，損失函數(shù)采用均方差損失，與全變分正則化相結(jié)合，進(jìn)一步對重構(gòu)圖像進(jìn)行約束。當(dāng)優(yōu)化過程結(jié)束，網(wǎng)絡(luò)輸出即為非視域成像重構(gòu)圖像。不同于傳統(tǒng)的端對端深度學(xué)習(xí)方案，本發(fā)明不需要主動光源照明且無需大量數(shù)據(jù)訓(xùn)練，節(jié)省了數(shù)據(jù)采集以及網(wǎng)絡(luò)參數(shù)擬合的時間，不僅成本低、裝置簡單易實現(xiàn)，而且成像清晰、保真度高、魯棒性強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于非視域成像的方法，屬于計算光學(xué)成像技術(shù)領(lǐng)域。

背景技術(shù)

隨著現(xiàn)代科技和人工智能的快速發(fā)展，對隱藏在直接視野范圍內(nèi)的場景目標(biāo)進(jìn)行精準(zhǔn)成像或探測的能力在諸多領(lǐng)域都存在潛在的應(yīng)用價值。自動駕駛、醫(yī)療成像、軍事安全等領(lǐng)域都離不開非視域成像技術(shù)的身影，因此非視域成像的低成本、易實現(xiàn)、高魯棒性已經(jīng)成為國內(nèi)外研究的熱點。

目前，非視域成像能寬泛地被分成兩類：

1.光線穿過被散射介質(zhì)遮擋的物體后不沿直線傳播，原有的成像關(guān)系被破壞；

2.物體位于光無法直線到達(dá)的拐角區(qū)域內(nèi)，探測器無法收集到目標(biāo)的有效信息。

現(xiàn)有的非視域成像大多是基于主動照明方案，例如基于時間相關(guān)單光子技術(shù)(TCSPC)、基于相關(guān)成像技術(shù)和全息技術(shù)。TCSPC技術(shù)利用條紋相機(jī)或單光子雪崩光電二極管，并借助脈沖激光實現(xiàn)三維成像。但由于其成本高、光子效率低、采集時間長等缺點，在實際應(yīng)用中面臨巨大的限制。相關(guān)成像技術(shù)進(jìn)一步簡化了實驗裝置，降低了成本，但其成像的視場范圍和物體尺寸有一定的限制。基于全息的非視域成像能夠低成本地實現(xiàn)高魯棒性的圖像恢復(fù)，但在實際場景中記錄全息圖十分困難。

為了解決上述成本高、應(yīng)用困難的問題，一種使用普通數(shù)碼相機(jī)的視覺潛望鏡被提出，不需要特定的光源主動照明，通過構(gòu)建傳輸矩陣求解逆問題，即可恢復(fù)二維彩色場景。但它需要成百上千次迭代才能收斂到一個低置信度的解。

近年來，深度學(xué)習(xí)技術(shù)也被使用來改善非視域成像的重建質(zhì)量，神經(jīng)網(wǎng)絡(luò)利用訓(xùn)練過程來學(xué)習(xí)測量數(shù)據(jù)與真實地面場景之間的映射關(guān)系。它往往需要大量的數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)以使其具有良好的泛化能力，然而在實際應(yīng)用中，大量的數(shù)據(jù)采集是費時甚至不可行的。使用未訓(xùn)練神經(jīng)網(wǎng)絡(luò)的深度圖像先驗技術(shù)已經(jīng)證實，神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)能夠作為圖像數(shù)據(jù)的先驗信息，不需要任何訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)本身就有能力提取大量圖像數(shù)據(jù)的低級先驗信息。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于未訓(xùn)練深度解碼神經(jīng)網(wǎng)絡(luò)的非視域成像方法，該方法不需要主動光源照明且無需大量數(shù)據(jù)訓(xùn)練，不僅成本低、裝置簡單易實現(xiàn)，而且成像清晰、保真度高、魯棒性強(qiáng)。

為達(dá)到上述目的，本發(fā)明的基于未訓(xùn)練深度解碼神經(jīng)網(wǎng)絡(luò)的非視域成像方法，包括以下步驟：

(1)成像目標(biāo)場景f顯示在一個顯示器上，設(shè)定顯示器的右下角為空間坐標(biāo)軸x軸和z軸的原點，二次反射界面處對應(yīng)點為y軸的原點；對成像場景進(jìn)行標(biāo)定，測量顯示器到墻面的距離D，遮擋物的空間坐標(biāo)p，相機(jī)測量的視場范圍及視場右下角空間坐標(biāo)。

(2)根據(jù)朗伯雙向反射分布函數(shù)BRDF構(gòu)建非視域成像模型公式，得到測量值(輻照度)I與成像目標(biāo)場景f的映射關(guān)系，將成像模型公式離散化估計得到計算公式I＝A(p)f+b，其中b為場景中的背景噪聲項，至此得到光線傳輸矩陣A(p)的具體表達(dá)式，將已知場景參數(shù)代入計算得到其具體形式；

(3)基于U-net結(jié)構(gòu)框架構(gòu)建未訓(xùn)練深度解碼神經(jīng)網(wǎng)絡(luò)G_w，將網(wǎng)絡(luò)參數(shù)隨機(jī)初始化，使用MSELoss結(jié)合全變分約束作為訓(xùn)練的損失函數(shù)L，選取MSELoss與全變分約束之間的比例，設(shè)置學(xué)習(xí)率及訓(xùn)練次數(shù)；

(4)根據(jù)成像模型公式，將目標(biāo)場景圖像與預(yù)先得到的傳輸矩陣相乘，并設(shè)置隨機(jī)噪聲，得到合成的測量光強(qiáng)I。