[發明專利]基于神經網絡的遙感圖像分類方法、計算設備及存儲介質

在審

• 申請號: 202110586005.7
• 申請日: 2021-05-27
• 公開（公告）號: CN113378897A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 賀忠華;樊高峰;何月;李祥;蔡菊珍;方賀;張育慧;張小偉;周楠
• 申請（專利權）人: 浙江省氣候中心;南通科遙軟件科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 成都先導云創知識產權代理事務所(普通合伙) 51321
• 代理人: 李坤

1.一種基于神經網絡的遙感圖像分類方法，其特征在于，所述方法包括：搭建幾何結構感知的神經網絡分類模型；

使用包含真實分類標簽的遙感圖像樣本對所述幾何結構感知的神經網絡分類模型進行訓練，并得到訓練后的神經網絡分類模型；

基于訓練后的神經網絡分類模型構建神經網絡分類系統，并設計所述神經網絡分類系統用于交互的輸入模塊與輸出模塊；

通過所述輸入模塊輸入遙感圖像，并由訓練后的神經網絡分類模型進行分類處理，得到可感知幾何的分割圖，再由所述輸出模塊輸出。

2.根據權利要求1所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，上述幾何結構感知的神經網絡分類模型通過聯合高度估計實現對遙感圖像的分類，其包括一個共享的編碼器網絡，一個用于語義分類的解碼器網絡和一個用于高度估計的解碼器網絡。

3.根據權利要求2所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，共享的編碼器網路采用ResNet-101作為骨干網絡，在骨干網絡之后附加了一個空間金字塔池模塊，以融合多尺度特征得到高級別特征，并所述高級別特征與骨干網絡中具有相同分辨率的低級別特征相拼接，得到組合的特征圖。

4.根據權利要求3所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，在得到組合的特征圖之后，所述方法還包括：

將組合的特征圖送到兩個單獨的3x3卷積層，以分別學習用于語義分割和高度估計的獨立特征表示；

在上述用于語義分類的解碼器網絡增設一個幾何結構感知卷積模塊，由所述幾何結構感知卷積模塊融合高度估計分支中的3D幾何特征和語義分割分支中的2D上下文特征，以進行幾何結構感知語義標記；

基于融合的特征嵌入生成具有增強性能的可感知幾何的分割圖。

5.根據權利要求3所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，所述空間金字塔池化模塊接收所述骨干網絡輸出的卷積特征圖作為輸入，然后分別使用一個全局平均池化層、一個1x1卷積層、以及3個空洞率分別為6、8、12的3x3卷積層來提取多尺度特征圖，并將輸出的多尺度特征圖進行拼接；然后使用3x3卷積層、BatchNormalization層、ReLU層對拼接后的特征圖進行特征提取，輸出最終組合的特征圖。

6.根據權利要求4所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，在將組合的特征圖送到兩個單獨的3x 3卷積層之后，所述方法還包括：

在高度估計的解碼器網絡分支，組合的特征圖經過單獨的3x 3卷積層學習得到獨立的幾何嵌入特征圖；

將所述幾何嵌入特征圖送到兩個卷積層中以獲得兩個子嵌入特征圖；

通過兩個子嵌入特征圖的點積運算生成幾何相似度矩陣；

通過點積運算將幾何相似度矩陣與語義特征融合在一起，得到融合信息；

將所述融合信息通過元素求和與上下文特征結合在一起以產生可感知幾何的分割圖。

7.根據權利要求6所述的一種基于神經網絡的遙感圖像分類方法，其特征在于，所述幾何結構感知卷積模塊的公式：

給定一個輸入特征圖x和對應的幾何特征G，其中H、W、E分別表示特征圖x的寬度、高度和通道數，幾何結構感知卷積模塊輸出公式表示為：

其中，σ為激活函數，為像素i的鄰域點索引，x_j為鄰域點，b為偏置項；W_ij表示卷積核權重，其度量了像素i和像素j之間的幾何相似性；W_ij的計算公式如下：

W_ij(G)＝φ(G_i)·ψ(G_j)；

其中和ψ(·)分別表示子空間特征，G_i和G_j分別為像素i，j的幾何特征；

結合上述兩個公式，得到最終幾何結構感知卷積模塊的計算公式：