[發(fā)明專利]一種三維FSRCNN的高光譜圖像超分辨率重建算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010524538.8
• 申請(qǐng)日: 2020-06-10
• 公開（公告）號(hào): CN111696043A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 王文舉;唐麗晶
• 申請(qǐng)（專利權(quán)）人: 上海理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

本發(fā)明提供一種三維FSRCNN的高光譜圖像超分辨率重建算法，包括：步驟1，獲取高光譜圖像，采集高光譜數(shù)據(jù)，得到高光譜數(shù)據(jù)集；步驟2，將高光譜數(shù)據(jù)集按設(shè)定比例分割成第一訓(xùn)練集和第二測(cè)試集，再分別對(duì)第一訓(xùn)練集和第一測(cè)試集作行預(yù)處理，得到為低分辨率圖像數(shù)據(jù)集的第二訓(xùn)練集和第二測(cè)試集；步驟3，將第二訓(xùn)練集導(dǎo)入訓(xùn)練框架進(jìn)行訓(xùn)練調(diào)整優(yōu)化參數(shù)，并在第二訓(xùn)練集中劃出一小部分作為驗(yàn)證集，在訓(xùn)練過程中驗(yàn)證模型的性能，最終得到訓(xùn)練好的高光譜圖像超分辨率重建算法框架模型；步驟4，用第二測(cè)試集在訓(xùn)練好的高光譜圖像超分辨率重建算法框架模型上進(jìn)行測(cè)試，得到測(cè)試結(jié)果，并提取某一頻段作為視覺輸出。

技術(shù)領(lǐng)域

本發(fā)明涉及一種算法，具體涉及一種三維FSRCNN的高光譜圖 像超分辨率重建算法。

背景技術(shù)

由于成像傳感器技術(shù)、信噪比和時(shí)間的限制，在空間分辨率和光 譜分辨率之間存在一定的權(quán)衡，因此高光譜圖像往往具有較低的空間 分辨率，這極大的限制了其在實(shí)際應(yīng)用中的效果。因此，如何提高高 光譜圖像的空間分辨率是具有重要的研究意義。

基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在普通 彩色圖像處理中的良好表現(xiàn)，許多研究也逐漸開始將其應(yīng)用到高光譜 圖像中來。2017年，Galliani等人嘗試在頻譜維數(shù)中對(duì)高光譜圖像進(jìn) 行超分辨率，證明了卷積對(duì)頻譜維數(shù)的可行性和優(yōu)越性^[1]，也為解決 光譜失真的問題提供了新思路，將現(xiàn)有的基于CNN的超分辨率算法 擴(kuò)展到高光譜圖像中，有效地利用空間上下文和光譜分辨，這種空間 文脈與光譜識(shí)別的結(jié)合的方法在許多高光譜應(yīng)用中被證明具有極大 的優(yōu)越性，如去噪^[2-3]、分類^[4-5]、超分辨率^[6]等。在基于CNN的高光 譜應(yīng)用中，Makantasis等人使用隨機(jī)主成分分析(RPCA)^[7]將空間光 譜信息集成到CNN中，但會(huì)造成信息丟失，因此RPCA提供給CNN 的空間光譜特征不能直接擴(kuò)展到超分辨率中。

為了探索高光譜圖像空間超分辨率的空間上下文和光譜識(shí)別， Mei等人提出了一種三維全卷積神經(jīng)網(wǎng)絡(luò)(3D-FCNN)框架^[8]，利用 三維卷積運(yùn)算來研究相鄰像素之間的空間環(huán)境和相鄰波段圖像的光 譜相關(guān)性，從而減輕了光譜失真，但是該方法在計(jì)算效率上仍然有所 欠缺。2016年Dong Chao等在SRCNN的基礎(chǔ)上提出了FSRCNN (Fast-Super-ResolutionConvolutional Neural Networks)模型^[9]， FSRCNN用更小的參數(shù)量獲得了相同的感受野，提高了運(yùn)算效率，克 服了SRCNN的部分缺點(diǎn)，但在重建效果上，還是次于卷積層數(shù)更多 的其他模型，并且目前只被用于二維圖像。二維卷積層主要考慮空間 信息，當(dāng)這些網(wǎng)絡(luò)直接以帶對(duì)帶的形式運(yùn)用于高光譜圖像中時(shí)，就會(huì) 忽略高光譜圖像的強(qiáng)光譜相關(guān)性，因此很容易導(dǎo)致光譜失真^[2]。故在 對(duì)高光譜圖像應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)處理的時(shí)候，要考慮到其圖像特性， 即既要考慮相鄰像素的空間背景，又要考慮相鄰波段之間的光譜相關(guān) 性，以保持輸出圖像的光譜保真度。故我們以二維FSRCNN作為研 究基礎(chǔ)，提出了一種3D FSRCNN框架并應(yīng)用到高光譜圖像超分辨率 重建中。

[1]Galliani,S.；Lanaras,C.；Marmanis,D.；Baltsavias,E.；Schindler,K.Learned Spectral Super-Resolution.arXiv,2017.

[2]Liu,S.；Jiao,L.；Yang,S.Hierarchical sparse learning with spectral-spatial information for hyperspectral imagery denoising.Sensors 2016,16,1718.[CrossRef][PubMed].