[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的光譜成像系統(tǒng)的編碼優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910018000.7
• 申請(qǐng)日: 2019-01-09
• 公開（公告）號(hào): CN109447890A
• 公開（公告）日: 2019-03-08
• 發(fā)明（設(shè)計(jì)）人: 王立志;張濤;付瑩;黃華
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06T1/00
• 分類號(hào): G06T1/00;G06T3/40;G06N3/08
• 代理公司: 北京理工正陽知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 鄔曉楠

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的光譜成像系統(tǒng)的編碼優(yōu)化方法，其特征在于：包括以下步驟，

步驟101：建立光譜成像儀的前向傳播模型，基于塊計(jì)算將整張高光譜圖像S分塊，依據(jù)光譜成像儀中光路的前向傳播過程對(duì)所述高光譜圖像塊進(jìn)行調(diào)制編碼，構(gòu)建編碼網(wǎng)絡(luò)；

步驟102：考慮垂直和水平方向的空間相關(guān)性構(gòu)建空間網(wǎng)絡(luò)，考慮光譜間的光譜相關(guān)性構(gòu)建光譜網(wǎng)絡(luò)，通過構(gòu)建的空間網(wǎng)絡(luò)和光譜網(wǎng)絡(luò)構(gòu)建重構(gòu)網(wǎng)絡(luò)；

步驟103：將每張訓(xùn)練圖像劃分為多個(gè)P×P的平行六面體塊，設(shè)置步長保證塊與塊之間有重疊部分；將所有圖像塊匯總成訓(xùn)練所需的數(shù)據(jù)集，即實(shí)現(xiàn)制作訓(xùn)練集；

步驟104：對(duì)步驟101構(gòu)建的編碼網(wǎng)絡(luò)和步驟102構(gòu)建的重建網(wǎng)絡(luò)，設(shè)置學(xué)習(xí)率、批處理大小、權(quán)值初始化方式、權(quán)值衰減系數(shù)、優(yōu)化方法、迭代次數(shù)；

步驟105：將高光譜圖像重建的成像過程和重建過程同時(shí)考慮，使用步驟103制作完成的訓(xùn)練集聯(lián)合訓(xùn)練步驟104設(shè)置后的編碼網(wǎng)絡(luò)和重建網(wǎng)絡(luò)，在訓(xùn)練優(yōu)化重建網(wǎng)絡(luò)參數(shù)的同時(shí)優(yōu)化編碼網(wǎng)絡(luò)的參數(shù)，實(shí)現(xiàn)優(yōu)化編碼模板；

步驟106：取出步驟105優(yōu)化完成后編碼模板，調(diào)制高光譜數(shù)據(jù)生成壓縮二維圖像，使用步驟105優(yōu)化完成后重建網(wǎng)絡(luò)逐塊重建目標(biāo)高光譜圖像。

2.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的光譜成像系統(tǒng)的編碼優(yōu)化方法，其特征在于：步驟101中所述光譜成像儀為編碼孔徑快照光譜成像儀(Coded ApertureSnapshot Spectral Imager，CASSI)；編碼孔徑光譜成像儀主要由物鏡、編碼模板、中繼鏡、色散棱鏡和探測器等部件構(gòu)成；目標(biāo)場景的高光譜圖像S大小為M×N×K，高光譜圖像S上任意一點(diǎn)的像素值為s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光譜圖像的空間分辨率，K表示高光譜圖像的頻譜數(shù)；入射光進(jìn)入編碼孔徑快照光譜成像儀CASSI會(huì)到達(dá)編碼模板進(jìn)行0-1編碼；經(jīng)編碼后的光到達(dá)色散棱鏡后，不同頻譜的光會(huì)沿著豎直方向偏移；最后所有頻譜的光在探測器處混合疊加，得到壓縮的二維混疊光譜圖像；編碼孔徑快照光譜成像儀CASSI的數(shù)學(xué)模型為：

公式(1)中y(m，n)表示二維壓縮光譜采樣圖像，s(m，n，k)表示目標(biāo)場景的三維高光譜圖像，T(m，n)表示0-1編碼模板；

將公式(1)寫成矩陣形式為：

Y＝ФS (2)

公式(2)中Y表示二維壓縮光譜采樣圖像，Φ表示CASSI系統(tǒng)的觀測矩陣，S表示目標(biāo)場景的高光譜圖像；

將使用基于塊計(jì)算代替基于整張圖計(jì)算；將整張高光譜圖像S劃分為多個(gè)P×P×K(P＜M，P＜N)的塊，在高光譜圖像塊通過編碼模板和色散棱鏡調(diào)制后將得到大小為(P+K-1)×P的圖像塊；采用P×P的壓縮圖像塊，反推能夠得K個(gè)偏移光譜的平行六面體；將P×P的實(shí)體作為模板的基本單元，其余為該基本單元的復(fù)制，基本單元表示為：

在B₁中的每個(gè)b_p＝0 or 1(p＝1，…，P²)，且B₁矩陣中的值會(huì)在網(wǎng)絡(luò)中被學(xué)習(xí)；

其余的B_k為B₁的循環(huán)偏移，表示為：

針對(duì)每個(gè)平行六面體sⁱ，將下面部分移至上面形成立方體編碼公式為：

將編碼后的立方體還原成平行六面體，在將其沿著光譜維相加得到二維的壓縮圖像；根據(jù)公式(5)搭建用于學(xué)習(xí)編碼的網(wǎng)絡(luò)，為了去除塊效應(yīng)，在塊與塊之間需要有重疊部分，于是將編碼模板分為重復(fù)的大小為的四部分；即實(shí)現(xiàn)構(gòu)建編碼網(wǎng)絡(luò)。

3.如權(quán)利要求2所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)的光譜成像系統(tǒng)的編碼優(yōu)化方法，其特征在于：

步驟102所述空間網(wǎng)絡(luò)用于學(xué)習(xí)二維壓縮圖像與重建平行六面體之間的空間相關(guān)性，使用P×3的卷積計(jì)算重建結(jié)果的每一行，使用ReLU作為網(wǎng)絡(luò)的激活函數(shù)；

步驟102所述光譜網(wǎng)絡(luò)用于學(xué)習(xí)二維壓縮圖像與重建平行六面體之間的光譜相關(guān)性，對(duì)空間網(wǎng)絡(luò)的重建結(jié)果分通道處理，利用相鄰的通道重建中間的通道，使用ReLU作為網(wǎng)絡(luò)的激活函數(shù)。