[發(fā)明專利]金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法

在審

• 申請?zhí)枺?/td>: 202310295404.7
• 申請日: 2023-03-23
• 公開（公告）號: CN116310572A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 葛海淼;潘海珠;劉沫岐
• 申請（專利權(quán)）人: 齊齊哈爾大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V20/10;G06V10/20;G06V10/58;G06V10/40;G06V10/82;G06V10/80;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 哈爾濱市文洋專利代理事務(wù)所(普通合伙) 23210
• 代理人: 王艷萍

金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法，涉及高光譜圖像領(lǐng)域，具體為金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法。本發(fā)明方法：一：對要分類的高光譜圖像進(jìn)行基于數(shù)據(jù)立方體的分割；二：對分割后的圖像采用光譜特征提取網(wǎng)絡(luò)提取高光譜圖像的光譜特征特征圖；三：對光譜特征提取網(wǎng)絡(luò)提取后的特征圖采用空間特征提取網(wǎng)絡(luò)提取高光譜圖像的空間特征特征圖；四：空間特征特征圖經(jīng)分類網(wǎng)絡(luò)生成分類結(jié)果。本發(fā)明方法沒有像傳統(tǒng)金字塔卷積那樣對輸入數(shù)據(jù)進(jìn)行分割，而是直接使用完整的輸入數(shù)據(jù)進(jìn)行特征提取，以保持特征的完整性。

技術(shù)領(lǐng)域

本發(fā)明涉及高光譜圖像領(lǐng)域，具體為金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法。

背景技術(shù)

近年來，高光譜圖像分類在遙感鄰域得到了廣泛關(guān)注。高光譜圖像由高光譜遙感器獲得，它包含數(shù)百個從可見光到短波紅外的連續(xù)而狹窄的光譜帶。高光譜圖像可以有效地表征目標(biāo)的土地覆蓋對象，并已被廣泛應(yīng)用于許多研究領(lǐng)域，如城市規(guī)劃、環(huán)境監(jiān)測、精細(xì)農(nóng)業(yè)、礦產(chǎn)勘探和軍事目標(biāo)。隨著遙感技術(shù)和高光譜成像技術(shù)的快速發(fā)展，高光譜圖像的獲取也越來越容易。然而，對高光譜圖像的數(shù)字化分析和處理技術(shù)仍然發(fā)展不足，以像素為單元的高光譜圖像分類任務(wù)作為高光譜圖像處理技術(shù)的一個重要問題，引起了研究人員的極大興趣，近年來有許多學(xué)者對此進(jìn)行了研究。近年來，許多基于深度學(xué)習(xí)的框架被提出，如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、圖卷積神經(jīng)網(wǎng)絡(luò)(GCNN)和生成式對抗神經(jīng)網(wǎng)絡(luò)(GANN)。在這些框架中，CNN框架因其性能優(yōu)異而被應(yīng)用于像素級高光譜圖像分類。CNN采用卷積核的空間權(quán)重共享來降低計(jì)算復(fù)雜度，并使用激活函數(shù)為網(wǎng)絡(luò)提供非線性映射能力。

很多結(jié)合注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)被提出用來解決高光譜圖像分類問題。其中，注意力機(jī)制作為標(biāo)準(zhǔn)卷積的有效補(bǔ)充被用來為分類網(wǎng)絡(luò)提供更多的靈活性。但是，如何在高空間和光譜分辨率條件下有效的提取真實(shí)環(huán)境下高光譜圖像的多尺度特征，仍然是一個挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

金字塔多尺度卷積和自注意力結(jié)合的高光譜圖像分類方法，包括以下步驟：

一：對要分類的高光譜圖像進(jìn)行基于數(shù)據(jù)立方體的分割；

二：對分割后的圖像采用光譜特征提取網(wǎng)絡(luò)提取高光譜圖像的光譜特征特征圖；

三：對光譜特征提取網(wǎng)絡(luò)提取后的特征圖采用空間特征提取網(wǎng)絡(luò)提取高光譜圖像的空間特征特征圖；

四：空間特征特征圖經(jīng)分類網(wǎng)絡(luò)生成分類結(jié)果；

其中，步驟二中所述的光譜特征提取網(wǎng)絡(luò)由3個光譜金字塔卷積塊、1個光譜PSA分支塊(如圖4所示)和4個Conv-BN-PReLU卷積塊組成；

步驟三中所述的空間特征提取網(wǎng)絡(luò)由3個空間金字塔卷積塊、1個空間PSA分支塊(如圖5所示)和2個Conv-BN-PReLU卷積塊組成；

步驟四中所述的分類網(wǎng)絡(luò)包含平均池化層、BN層、Mish映射和1個線性層；

步驟二光譜特征提取網(wǎng)絡(luò)采用殘差聚合和一次性聚合保留網(wǎng)絡(luò)的前期特征圖信息；

步驟三中所述空間金字塔卷積塊之間采用一次性聚合；

光譜金字塔卷積塊中采用偽3D光譜卷積核；空間金字塔卷積塊中采用偽3D空間卷積核。