[發(fā)明專利]一種基于空間-光譜聯(lián)合注意力機(jī)制的高光譜圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010044989.1
• 申請(qǐng)日: 2020-01-16
• 公開（公告）號(hào): CN111563520B
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計(jì)）人: 尹繼豪;李磊;劉雨晨;黃浦;王麒雄
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于空間-光譜聯(lián)合注意力機(jī)制的高光譜圖像分類方法主要是由空間-光譜聯(lián)合注意力機(jī)制模塊和嵌入卷積神經(jīng)網(wǎng)絡(luò)方式兩部分組成：

1、空間-光譜聯(lián)合注意力機(jī)制模塊由三個(gè)子模塊組成，空間注意力分?jǐn)?shù)提取子模塊、光譜注意力分?jǐn)?shù)提取子模塊和注意力分?jǐn)?shù)分配子模塊；其中，空間注意力分?jǐn)?shù)提取分支提取空間中任意兩個(gè)像素間相似性特征，獲取空間注意力分?jǐn)?shù)圖；光譜注意力分?jǐn)?shù)提取分支提取不同光譜波段中相關(guān)依賴性，獲取光譜波段的注意力分?jǐn)?shù)圖；再將注意力分?jǐn)?shù)分配子模塊分別提取到的空間注意力分?jǐn)?shù)圖和光譜注意力分?jǐn)?shù)圖，逐像素逐光譜地分配到原特征空間中，獲得包含不同像素點(diǎn)、不同波段注意力特征的注意力分?jǐn)?shù)立方體；具體如下：

(1)空間注意力分?jǐn)?shù)提取子模塊

步驟一：將輸入圖像X分別映射到嵌入光譜特征空間中，以得到兩個(gè)新特征圖θ(X)和φ(X)；

步驟二：利用嵌入空間內(nèi)的高斯函數(shù)計(jì)算任意兩個(gè)像素相似性s_ij，獲得空間注意力分?jǐn)?shù)圖S，最后再利用神經(jīng)網(wǎng)絡(luò)softmax層進(jìn)行歸一化操作；

(2)光譜注意力分?jǐn)?shù)提取子模塊

步驟三：將輸入圖像X分別映射到嵌入空間特征空間中，以得到兩個(gè)新特征圖u(X)和ω(X)；

步驟四：利用嵌入空間內(nèi)的高斯函數(shù)計(jì)算任意兩個(gè)光譜波段對(duì)應(yīng)特征圖的相似性q_ij，獲得光譜注意力分?jǐn)?shù)圖Q，實(shí)驗(yàn)中，采用3*3分層(Depth-wise)卷積層實(shí)現(xiàn)；最后再利用神經(jīng)網(wǎng)絡(luò)Softmax層進(jìn)行歸一化操作；

(3)注意力分?jǐn)?shù)分配子模塊

注意力分?jǐn)?shù)分配子模塊的作用是將提取的空間注意力分?jǐn)?shù)和光譜注意力分?jǐn)?shù)分配到原來的特征空間中，獲得包含不同空間域、不同波段注意力特征的注意力分?jǐn)?shù)立方體；

步驟五：為了確保注意力機(jī)制模塊可以根據(jù)任務(wù)需求，自適應(yīng)地聚焦于特征圖的局域空間和局部光譜波段，首先在特征空間內(nèi)進(jìn)行映射，采用3*3卷積運(yùn)算得到一個(gè)全新特征圖

步驟六：將空間注意力分?jǐn)?shù)S和光譜注意力分?jǐn)?shù)Q分配到原來的特征空間中，獲得注意力機(jī)制分?jǐn)?shù)立方體A

2、空間-光譜聯(lián)合注意力機(jī)制模塊嵌入卷積神經(jīng)網(wǎng)絡(luò)方式有三種：

(1)串聯(lián)嵌入方式；

(2)并聯(lián)嵌入方式；

(3)串并聯(lián)嵌入方式。