[發(fā)明專利]具有多場(chǎng)景適應(yīng)性的透過散射介質(zhì)模塊化成像方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111472000.8
• 申請(qǐng)日: 2021-12-06
• 公開（公告）號(hào): CN113901963B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 張毅;左葦;郭恩來(lái);韓靜;柏連發(fā);趙壯;朱碩;冮順奎;張明星;施繼玲;王曉穎
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/145;G06V20/62;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇創(chuàng)專利代理事務(wù)所(普通合伙) 32273
• 代理人: 常曉慧

本發(fā)明涉及一種具有多場(chǎng)景適應(yīng)性的透過散射介質(zhì)模塊化成像方法，包括構(gòu)建散射介質(zhì)成像卷積神經(jīng)網(wǎng)絡(luò)；改進(jìn)基礎(chǔ)結(jié)構(gòu)；采用即插即用模塊與基礎(chǔ)結(jié)構(gòu)結(jié)合組成新的網(wǎng)絡(luò)結(jié)構(gòu)；采集數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化；利用優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行成像。本發(fā)明通過在UNet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加語(yǔ)義嵌入分支模塊SEB，將更多的語(yǔ)義信息引入低級(jí)特征，更好地實(shí)現(xiàn)低級(jí)特征與高級(jí)特征之間的融合；結(jié)合感受野模塊，擴(kuò)大卷積神經(jīng)網(wǎng)絡(luò)的感受野，提升特征層的全局性，優(yōu)化了成像質(zhì)量；將特征融合模塊、密集連接模塊和感受野模塊與基礎(chǔ)結(jié)構(gòu)結(jié)合作為即插即用的系列進(jìn)行應(yīng)用，提高了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的靈活性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種具有多場(chǎng)景適應(yīng)性的透過散射介質(zhì)模塊化成像方法，屬于機(jī)器學(xué)習(xí)與圖像重建技術(shù)領(lǐng)域。

背景技術(shù)

從記錄到的散斑恢復(fù)出原物體圖像是一個(gè)欠定的逆問題，尤其在被厚散射體散射的情況下，彈道光的信號(hào)極弱而散射很強(qiáng)，導(dǎo)致經(jīng)典的解逆問題的最優(yōu)化算法都無(wú)能為力，隨著計(jì)算機(jī)運(yùn)算能力和數(shù)據(jù)量的飛速提升，各成像領(lǐng)域開始結(jié)合深度學(xué)習(xí)方法且都取得了不錯(cuò)的成效，光的散射問題亦然。很多的散射成像研究工作引入深度學(xué)習(xí)方法實(shí)現(xiàn)了成像效果提升，突破了經(jīng)典成像局限。

光在復(fù)雜散射介質(zhì)中的傳播過程可等效為輸入場(chǎng)經(jīng)過隨機(jī)傳輸矩陣的計(jì)算過程，則采集到的散斑圖像與原始目標(biāo)間存在著一定的映射關(guān)系，而從散斑到目標(biāo)就是這個(gè)傳輸過程的逆變換求解。應(yīng)用深度學(xué)習(xí)方法去學(xué)習(xí)模擬目標(biāo)到散斑的這種光學(xué)映射的逆變換過程，從而實(shí)現(xiàn)在已知散斑時(shí)求解出未知目標(biāo)。而對(duì)于散斑圖像這種無(wú)結(jié)構(gòu)特征，信息全局分布的圖像來(lái)說(shuō)，在別的領(lǐng)域運(yùn)作很好的網(wǎng)絡(luò)結(jié)構(gòu)在散斑重建任務(wù)中就不一定很有效了。

目前深度學(xué)習(xí)方法在簡(jiǎn)單如字符、線條狀結(jié)構(gòu)的目標(biāo)上的重建效果較好，但是在復(fù)雜如人臉、自然場(chǎng)景等高頻信息豐富的目標(biāo)上，則很難獲得良好的重建結(jié)果。

散斑成像領(lǐng)域常見的CNN網(wǎng)絡(luò)結(jié)構(gòu)和插入模塊，我們發(fā)現(xiàn)就其功能性它們基本可以被分為兩類：感受野提升和多尺度特征融合。如何保證參與“決策”的特征層仍然具有全局性是提升構(gòu)建CNN網(wǎng)絡(luò)質(zhì)量的一個(gè)重要依據(jù)，而提升全局性的常用手段就是擴(kuò)大感受野和多尺度特征融合，二者通常合作提升決策層的全局性。

融合不同尺度的特征是提高分割性能的一個(gè)重要手段。低層特征分辨率更高，包含更多位置、細(xì)節(jié)信息，但是由于經(jīng)過的卷積更少，其語(yǔ)義性更低，噪聲更多。因此將更多的語(yǔ)義信息引入低級(jí)特征，在高級(jí)特征中嵌入更多的空間信息能夠彌補(bǔ)低級(jí)特征與高級(jí)特征之間的差距，提升特征融合的質(zhì)量。

因此，需要一種更適用于散斑重建任務(wù)的深度學(xué)習(xí)方法。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供一種具有多場(chǎng)景適應(yīng)性的透過散射介質(zhì)模塊化成像方法，其具體技術(shù)方案如下：

一種具有多場(chǎng)景適應(yīng)性的透過散射介質(zhì)模塊化成像方法，包括以下步驟：

步驟1：構(gòu)建散射介質(zhì)成像卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)選用UNet作為基礎(chǔ)結(jié)構(gòu)，所述UNet整體結(jié)構(gòu)呈U形編碼-解碼對(duì)稱結(jié)構(gòu)，其中編碼部分是多個(gè)由3x3的卷積操作和池化操作組成下采樣模塊提取目標(biāo)特征，解碼部分是與編碼部分同樣多個(gè)由3x3反卷積操作和上采樣函數(shù)組成的上采樣模塊恢復(fù)信息和圖像尺寸；

步驟2：對(duì)基礎(chǔ)結(jié)構(gòu)進(jìn)行改進(jìn)，調(diào)整基礎(chǔ)網(wǎng)絡(luò)深度和寬度，設(shè)置網(wǎng)絡(luò)參數(shù)量，所述寬度通過改變每層通道數(shù)調(diào)整；

步驟3：采用即插即用模塊與基礎(chǔ)結(jié)構(gòu)結(jié)合組成新的網(wǎng)絡(luò)結(jié)構(gòu)，所述即插即用模塊為密集連接模塊、特征融合模塊或感受野模塊中的一種，所述特征融合模塊為語(yǔ)義嵌入分支模塊SEB；

步驟4：采集數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，所述訓(xùn)練優(yōu)化選用簡(jiǎn)單字符數(shù)據(jù)和復(fù)雜人臉數(shù)據(jù)兩種不同復(fù)雜程度的數(shù)據(jù)，所述簡(jiǎn)單字符數(shù)據(jù)和復(fù)雜人臉數(shù)據(jù)均包括訓(xùn)練集、驗(yàn)證集和測(cè)試集；

步驟5：利用優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行成像。