[發明專利]基于圖神經網絡的光學遙感圖像實例分割方法及裝置

有效

• 申請號: 202110790134.8
• 申請日: 2021-07-13
• 公開（公告）號: CN113554656B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 許樂樂;李葉;徐金中;郭麗麗
• 申請（專利權）人: 中國科學院空間應用工程與技術中心
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06V10/25;G06V10/40;G06N3/04;G06N3/08
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 陳霆雷

1.一種基于圖神經網絡的光學遙感圖像實例分割方法，其特征在于，包括：

建立基于圖神經網絡的實例分割模型，所述實例分割模型包括4個依次連接的子神經網絡，依次為多尺度特征提取網絡、基于特征重要性的感興趣區推薦網絡、感興趣區關系網絡和分割網絡，所述多尺度特征提取網絡還與所述感興趣區關系網絡連接；

對所述實例分割模型進行訓練；

將待分割圖像輸入到訓練后的所述實例分割模型中，依次通過4個所述子神經網絡對所述待分割圖像進行處理，得到所述待分割圖像的實例分割結果；

將待分割圖像輸入到訓練后的所述實例分割模型中，依次通過4個所述子神經網絡對所述待分割圖像進行處理，得到所述待分割圖像的實例分割結果，具體包括：

將待分割圖像輸入到訓練后的所述實例分割模型中，通過所述多尺度特征提取網絡對所述待分割圖像進行逐層處理，得到多尺度特征；

通過所述基于特征重要性的感興趣區推薦網絡獲取所述多尺度特征的重要性，基于所述重要性獲得至少一個候選感興趣區；

通過所述感興趣區關系網絡將每個所述候選感興趣區作為節點，將所述候選感興趣區之間的關系作為邊，構建跨特征圖的感興趣區關系網絡，根據所述感興趣區關系網絡得到感興趣區及感興趣區特征；

通過所述分割網絡對所述感興趣區特征進行處理，得到對應的感興趣區的類別、位置坐標、形心中心性圖和像素級分割得分圖；

根據全部感興趣區的類別和像素級分割得分圖，得到最終的實例分割結果；

通過所述感興趣區關系網絡將每個所述候選感興趣區作為節點，將所述候選感興趣區之間的關系作為邊，構建跨特征圖的感興趣區關系網絡，根據所述感興趣區關系網絡得到感興趣區及感興趣區特征，具體包括：

通過所述感興趣區關系網絡將所述多尺度特征進行上采樣運算，得到大小相同的特征圖，將全部所述候選感興趣區分別輸入到每個所述特征圖中，在每個所述特征圖中構建跨特征圖的感興趣區關系網絡，根據所述感興趣區關系網絡得到感興趣區及感興趣區特征，其中，所述跨特征圖的感興趣區關系網絡通過在同一特征圖內不同感興趣區之間和不同特征圖下同一感興趣區之間進行信息傳遞和結構推理；

對所述實例分割模型進行訓練，具體包括：

獲取至少一張光學遙感圖像作為訓練圖像，分別對每張所述訓練圖像進行預處理：

將預處理后的全部所述訓練圖像輸入到所述實例分割模型中，采用反向傳播算法對所述實例分割模型進行訓練；

對每張所述訓練圖像進行預處理，具體包括：

基于第一訓練圖像標注出所有目標的分割圖，且將不同目標標注為不同類別，相同類別的不同個體標注為不同編號；

計算出所述第一訓練圖像中的每個目標的形心中心性圖；

其中，所述第一訓練圖像為全部訓練圖像中的任意一個訓練圖像；

計算出所述第一訓練圖像中的每個目標的形心中心性圖，具體包括：

根據第一目標中所有像素坐標位置的平均值確定所述第一目標的形心；

根據所述第一目標中每個像素與所述第一目標的形心的距離得到所述第一目標的形心中心性圖；

其中，所述第一目標為所述第一訓練圖像中的任意一個目標。

2.根據權利要求1所述的基于圖神經網絡的光學遙感圖像實例分割方法，其特征在于，根據全部感興趣區的類別和像素級分割得分圖，得到最終的實例分割結果，具體包括：

判斷第一感興趣區的類別是否為背景，如果是，則忽略所述第一感興趣區；否則，保留所述第一感興趣區對應的像素級分割得分圖；

對全部感興趣區判斷完成后，將保留的全部像素級分割得分圖綜合，得到最終的實例分割結果；

其中，所述第一感興趣區為全部感興趣區中的任意一個感興趣區。

3.根據權利要求1所述的基于圖神經網絡的光學遙感圖像實例分割方法，其特征在于，通過所述基于特征重要性的感興趣區推薦網絡獲取所述多尺度特征的重要性，基于所述重要性獲得至少一個候選感興趣區，具體包括：

通過所述基于特征重要性的感興趣區推薦網絡對所述多尺度特征進行卷積運算，得到特征重要性圖，以重要性高于預設值的像素為中心，確定預設大小的特征塊是否包含目標的得分，以及目標的位置坐標，根據所述得分和所述位置坐標確定候選感興趣區。