[發(fā)明專利]一種遙感圖像空間和光譜分辨率恢復(fù)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210070704.0
• 申請(qǐng)日: 2022-01-21
• 公開（公告）號(hào): CN114549306A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 金鑫;劉玲;江倩;馮佳男;章平凡;劉帥;王全力;高學(xué)帥
• 申請(qǐng)（專利權(quán)）人: 云南大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王愛濤

1.一種遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，包括：

獲取全色圖像并進(jìn)行預(yù)處理，得到退化后的全色圖像；

基于多分支特征提取網(wǎng)絡(luò)對(duì)所述全色圖像進(jìn)行特征提取，得到四個(gè)特征圖；

將所述特征圖進(jìn)行特征聚合，得到特征聚合圖；

基于特征重建網(wǎng)絡(luò)對(duì)所述特征聚合圖進(jìn)行特征恢復(fù)，得到特征重建圖；所述特征重建圖為L(zhǎng)ab三通道圖像；

將所述Lab三通道圖像的顏色空間轉(zhuǎn)化為RGB顏色空間，得到最終的恢復(fù)了空間和光譜分辨率的圖像。

2.根據(jù)權(quán)利要求1所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述獲取基于遙感圖像的全色圖像，包括：

獲取所述遙感圖像；

對(duì)所述遙感圖像進(jìn)行格式轉(zhuǎn)換，并使用雙三次插值法進(jìn)行下采樣，得到退化的所述全色圖像。

3.根據(jù)權(quán)利要求1所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述基于多分支特征提取網(wǎng)絡(luò)對(duì)所述全色圖像進(jìn)行特征提取，得到四個(gè)特征圖，包括：

基于特征通道混合網(wǎng)絡(luò)對(duì)所述全色圖像的特征的通道相關(guān)性進(jìn)行增強(qiáng)，得到增強(qiáng)特征圖；

將所述增強(qiáng)特征圖輸入到VGG-19網(wǎng)絡(luò)中，得到第一特征圖、第二特征圖、第三特征圖和第四特征圖；所述第一特征圖、所述第二特征圖、所述第三特征圖和所述第四特征圖的形狀均不相同；

將所述第一特征圖、所述第二特征圖、所述第三特征圖和所述第四特征圖分別輸入到四個(gè)分支上進(jìn)行上采樣和跨步卷積，得到四個(gè)形狀相同的所述特征圖。

4.根據(jù)權(quán)利要求3所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述特征通道混合網(wǎng)絡(luò)的公式為：

out_(p，q)＝S(Φ(C(v₁，v₂，…，v_c)，W_(p，q))，X_(p，q))；

其中，I_(i，j)是輸入的所述全色圖像的特征圖的第i個(gè)通道的第j部分，i的取值為[1，c]，c是特征圖的通道數(shù)，j的取值為1或2；out_(p，q)表示所述特征通道混合網(wǎng)絡(luò)的輸出特征圖在(p，q)像素點(diǎn)的值，K(.)表示雙流自卷積網(wǎng)絡(luò)，Φ(.)表示卷積操作，C(.)表示聚合操作，W(p，q)表示卷積操作在像素點(diǎn)(p，q)處的權(quán)重，X(p，q)表示輸入特征在像素點(diǎn)(p，q)處的值，S(.)表示雙流注意力網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述將所述特征圖進(jìn)行特征聚合，得到特征聚合圖，包括：

利用子像素向上卷積網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)對(duì)四個(gè)所述特征圖進(jìn)行處理，得到融合特征圖；

根據(jù)多項(xiàng)式濾波器對(duì)所述融合特征圖進(jìn)行特征增強(qiáng)，得到特征增強(qiáng)后的所述特征聚合圖。

6.根據(jù)權(quán)利要求5所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述多項(xiàng)式濾波器的公式為：

其中，表示多項(xiàng)式濾波在像素點(diǎn)(i，j)處的值，J(.)表示卷積、池化和全連接操作網(wǎng)絡(luò)，F(xiàn)(i，j)表示多項(xiàng)式的輸入特征在像素點(diǎn)(i，j)處的值，W(i，j)表示J(.)操作的權(quán)重，P(X，Y)表示一個(gè)三次多項(xiàng)式，X為H×H的矩陣，Y為W×W的矩陣，H和W分別為所述多項(xiàng)式濾波器的輸入特征圖的高和寬。

7.根據(jù)權(quán)利要求1所述的遙感圖像空間和光譜分辨率恢復(fù)方法，其特征在于，所述基于特征重建網(wǎng)絡(luò)對(duì)所述特征聚合圖進(jìn)行特征恢復(fù)，得到特征重建圖，包括：

利用兩個(gè)自卷積網(wǎng)絡(luò)對(duì)所述特征聚合圖進(jìn)行擴(kuò)大，得到擴(kuò)大后的特征聚合圖；所述自卷積網(wǎng)絡(luò)包括內(nèi)卷積、子像素向上卷積和兩個(gè)標(biāo)準(zhǔn)卷積；

利用兩個(gè)使用標(biāo)準(zhǔn)卷積操作的分支調(diào)整擴(kuò)大后的特征聚合圖的通道數(shù)，分別得到第一通道特征圖和第二通道特征圖；

在通道維度使用拼接操作將所述第一通道特征圖和所述第二通道特征圖進(jìn)行拼接，得到所述特征重建圖。