[發(fā)明專利]基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010162533.5
• 申請(qǐng)日: 2020-03-10
• 公開（公告）號(hào): CN111369442B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 張向榮;焦李成;劉風(fēng)昇;唐旭;李辰;陳璞花;侯彪;周揮宇
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06V10/762;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

1.基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，包括以下步驟：

S1、給定某一地區(qū)的高分辨率光學(xué)遙感圖像和對(duì)應(yīng)的低分辨率光學(xué)遙感圖像，其中包含不同類別的地物；

S2、對(duì)給定的圖像進(jìn)行劃分構(gòu)建訓(xùn)練樣本和測(cè)試樣本；

S3、對(duì)所有的訓(xùn)練集與測(cè)試集中的低分辨率圖像尋找圖像塊間的遞歸相似關(guān)系，通過最大后驗(yàn)概率估計(jì)出低分辨率圖像的模糊核；

S4、根據(jù)低分辨率圖像的模糊核對(duì)訓(xùn)練集進(jìn)行聚類；

S5、使用聚類模型對(duì)測(cè)試集圖像進(jìn)行分類；

S6、基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，選擇殘差塊連接方式作為基本結(jié)構(gòu)，并在其中加入可選擇卷積核與通道的注意力機(jī)制，可選擇卷積核部分包含通道的分離、融合與特征選擇操作，構(gòu)建基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型；

S7、將不同的低分辨率圖像與其對(duì)應(yīng)的高分辨率圖像組成圖像對(duì)按照劃分的類別分別進(jìn)行訓(xùn)練，損失函數(shù)設(shè)定為高、低分辨率圖像對(duì)的均方誤差，并在測(cè)試集中按照不同類別的圖像分別進(jìn)行測(cè)試，得到不同類別的模型；

S8、對(duì)輸入的低分辨率圖像進(jìn)行模糊核的估計(jì)、分類，并重建出高分辨率圖像作為輸出。

2.根據(jù)權(quán)利要求1所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，步驟S2中，將給定的高分辨率圖像劃分為M個(gè)大小為N×N的圖像塊，并將對(duì)應(yīng)的低分辨率圖像按照各自的分辨率大小進(jìn)行劃分，并從M個(gè)高分辨率圖像塊中隨機(jī)選取80％以上的圖像塊與對(duì)應(yīng)的低分辨率圖像塊作為訓(xùn)練樣本，其余的作為測(cè)試樣本，M≥10000，N≥500。

3.根據(jù)權(quán)利要求1所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，步驟S3中，圖像的模糊核為：

其中，矩陣C為約束矩陣，用于限制估計(jì)出的模糊核過于尖銳，C^T為矩陣C的轉(zhuǎn)置矩陣，σ表示方差值，w_ij為低分辨率圖像塊與輸入圖像中原有的小尺寸低分辨率圖像塊q_i間的均方根誤差，q_i以向量形式表示圖像塊，R_j為高分辨率圖像塊矩陣，為矩陣R_j的轉(zhuǎn)置矩陣，q_i為輸入圖像中原有的小尺寸低分辨率圖像塊的向量表示。

4.根據(jù)權(quán)利要求1所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，步驟S4中，將所有訓(xùn)練集的模糊核作為樣本輸入，使用K均值聚類算法將不同圖像的模糊核劃分為K個(gè)類，劃分依據(jù)使用最小歐式距離進(jìn)行衡量，聚類完成后得到K個(gè)聚類中心，并將模糊核對(duì)應(yīng)的輸入高、低分辨率圖像對(duì)劃分為K個(gè)類別。

5.根據(jù)權(quán)利要求4所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，不同模糊核間的距離采用最小歐氏距離，最終聚類結(jié)果使用損失函數(shù)J進(jìn)行迭代優(yōu)化，經(jīng)過迭代得到聚類中心{u_k|k＝1,2,…,K}，損失函數(shù)J為：

其中，n為樣本容量，x_i為輸入圖像的模糊核。

6.根據(jù)權(quán)利要求1所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，步驟S5中，計(jì)算每個(gè)測(cè)試集中低分辨率圖像的模糊核與聚類中心距離，對(duì)測(cè)試集的模糊核進(jìn)行劃分如下：

其中，x_i表示輸入圖像的模糊核，u_k表示聚類中心，Label(i)表示輸出的類別。

7.根據(jù)權(quán)利要求1所述的基于模糊核分類與注意力機(jī)制的遙感圖像超分辨重建方法，其特征在于，步驟S6中，將跳躍連接作為殘差塊的基本結(jié)構(gòu)，并添加通道注意力機(jī)制以及可選擇卷積核的注意力機(jī)制，在通道注意力機(jī)制中使用通道的壓縮、擴(kuò)增以及全局平均池化操作；在可選擇的卷積核注意力機(jī)制中，使用不同卷積核間的分離、融合與特征選擇部分，分離部分使用多個(gè)不同尺寸的卷積核進(jìn)行卷積，在融合部分采用全連接操作加入了通道的壓縮與擴(kuò)增操作，并在特征通道中加入softmax層，在特征的選擇部分，通過選擇操作對(duì)其中的不同特征層進(jìn)行加權(quán)求和。