[發(fā)明專利]一種RGB圖像光譜重建方法、系統(tǒng)、存儲(chǔ)介質(zhì)及應(yīng)用

在審

• 申請(qǐng)?zhí)枺?/td>: 202010815176.8
• 申請(qǐng)日: 2020-08-14
• 公開（公告）號(hào): CN112116065A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 李嬌嬌;武超雄;杜松乘;宋銳;李云松;席博博;曹鍇郎
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G01J3/28
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

本發(fā)明屬于高光譜圖像的處理技術(shù)領(lǐng)域，公開了一種RGB圖像光譜重建方法、系統(tǒng)、存儲(chǔ)介質(zhì)及應(yīng)用，構(gòu)建具有結(jié)構(gòu)張量約束的混合2?D–3?D深度殘差注意力網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)；構(gòu)建殘差注意力模塊，包含多個(gè)2?D殘差注意力模塊和3?D殘差注意力模塊；分別在2?D深度殘差注意力網(wǎng)絡(luò)和3?D深度殘差注意力網(wǎng)絡(luò)中引入2?D通道注意力機(jī)制和3?D波段注意力機(jī)制；結(jié)合高光譜圖像的像素?cái)?shù)值和結(jié)構(gòu)差異，采用結(jié)合結(jié)構(gòu)張量和MRAE的形式作為損失函數(shù)，形成一個(gè)更精細(xì)的約束。本發(fā)明實(shí)現(xiàn)RGB圖像到高光譜圖像的端到端的映射，自適應(yīng)地重新校準(zhǔn)通道和波段維度的特征響應(yīng)，增強(qiáng)判別學(xué)習(xí)能力，有助于在訓(xùn)練過程中恢復(fù)更精細(xì)、更準(zhǔn)確的高光譜圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于高光譜圖像的處理技術(shù)領(lǐng)域，尤其涉及一種RGB圖像光譜重建方法、系統(tǒng)、存儲(chǔ)介質(zhì)及應(yīng)用。

背景技術(shù)

目前，高光譜傳感器記錄從紅外光譜到紫外線光譜的數(shù)百或數(shù)千個(gè)波段的反射率或透射率值。與傳統(tǒng)的RGB圖像不同，高光譜圖像中的每個(gè)像素都包含具有豐富光譜特征的連續(xù)光譜。事實(shí)上，豐富的光譜特征已經(jīng)被用于廣泛地探索到各種任務(wù)中，例如目標(biāo)跟蹤、圖像分類、場景分割和高光譜波段選擇等。盡管如此，大多數(shù)現(xiàn)有的高光譜設(shè)備還是利用2-D傳感器通過沿空間或光譜維度的掃描來捕獲3-D數(shù)據(jù)，這會(huì)需要更多的曝光時(shí)間，阻礙其進(jìn)一步應(yīng)用于動(dòng)態(tài)場景中。另外，成本高昂的高光譜系統(tǒng)需要在光譜分辨率與空間/時(shí)間分辨率之間進(jìn)行折衷。為了解決上述問題，在過去的十年中，無掃描或快照的高光譜設(shè)備被開發(fā)，例如計(jì)算機(jī)斷層掃描成像光譜儀(CTIS)、混合RGB-HS系統(tǒng)等。然而，這些采集系統(tǒng)仍然需要復(fù)雜的硬件設(shè)備，并且所采集的高光譜的空間分辨率也會(huì)受到限制。近來，已經(jīng)提出了僅通過給定的RGB圖像，實(shí)現(xiàn)三到多的映射來獲得具有一致空間分辨率和更高光譜分辨率的高光譜圖像，這被稱為光譜重建或光譜超分辨率。顯然，由于RGB圖像的波段數(shù)數(shù)是3，而高光譜圖像包含很多波段，所以光譜重建是一個(gè)不適定的逆映射問題。但是，仍然有可能通過建立先驗(yàn)或者基于學(xué)習(xí)的模型以從單個(gè)RGB圖像重建光譜特征。一些早期的研究主要設(shè)計(jì)稀疏恢復(fù)或淺層學(xué)習(xí)模型來完成光譜重建過程，即實(shí)現(xiàn)RGB圖像到高光譜圖像的映射。然而，受可獲得的公開高光譜數(shù)據(jù)集的數(shù)量少的限制，相對(duì)簡單的映射重建質(zhì)量在很大程度上取決于高光譜數(shù)據(jù)的先驗(yàn)信息和預(yù)處理。同時(shí)，由于泛化能力差，這些方法只能對(duì)RGB和高光譜數(shù)據(jù)之間的低級(jí)別的相關(guān)性進(jìn)行建模。因此，有必要進(jìn)一步提高光譜重建的準(zhǔn)確性。最近，深層卷積神經(jīng)網(wǎng)絡(luò)已在光譜重建任務(wù)中得到了廣泛的探索，與稀疏恢復(fù)和淺層映射方法相比，卷積神經(jīng)網(wǎng)絡(luò)(CNN)的強(qiáng)大功能表達(dá)和端到端訓(xùn)練范式帶來了光譜重建的顯著改進(jìn)。通過利用訓(xùn)練數(shù)據(jù)所固有的上下文信息，基于CNN的方法在光譜重建中取得了相當(dāng)大的成功，但也仍然存在一些缺陷。一方面，大多數(shù)現(xiàn)有的基于CNN的方法幾乎都集中在基于二維CNN的空間特征提取上，而沒有同時(shí)模擬波段間的相關(guān)性。因此，重建的高光譜圖像的波段之間的關(guān)系可能與真實(shí)情況不完全相同。另一方面，大多數(shù)基于CNN的光譜重建模型僅通過疊加卷積層即可構(gòu)建更深的網(wǎng)絡(luò)，很少利用特征通道之間的相互依賴關(guān)系，從而限制了CNN的表示能力，并且無法提取更高級(jí)的上下文特征。

通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：目前大多數(shù)基于CNN的光譜超分辨算法，幾乎都集中在基于二維CNN的空間特征提取上，而沒有同時(shí)模擬波段間的相關(guān)性，同時(shí)也很少利用特征映射之間的固有相互依賴關(guān)系，從而限制CNN的表示能力并且無法提取更高級(jí)的上下文特征。

解決以上問題及缺陷的難度為：如何設(shè)計(jì)新的基于CNN的光譜超分辨算法能夠同時(shí)提取空間-光譜特征；如何設(shè)計(jì)對(duì)應(yīng)的模塊建模特征映射之間的相互依賴關(guān)系。

解決以上問題及缺陷的意義為：通過設(shè)計(jì)可同時(shí)提取空間-光譜特征的光譜超分辨算法，可以使得重建高光譜圖像與真實(shí)情況更加接近；通過計(jì)對(duì)應(yīng)的模塊利用特征映射之間的固有相互依賴關(guān)系，可以充分發(fā)揮CNN的表示能力并且提取更高級(jí)的上下文特征。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種RGB圖像光譜重建方法、系統(tǒng)、存儲(chǔ)介質(zhì)及應(yīng)用。