[發明專利]一種結合像素語義關聯和邊界注意的高分影像弱監督建筑物提取方法

在審

• 申請號: 202010909322.3
• 申請日: 2020-09-02
• 公開（公告）號: CN112052783A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 陳杰;何玢;李建輝;郭亞;孫庚;鄧敏
• 申請（專利權）人: 中南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06T3/40;G06T7/194
• 代理公司: 長沙七源專利代理事務所(普通合伙) 43214
• 代理人: 張勇;周曉艷

1.一種結合像素語義關聯和邊界注意的高分影像弱監督建筑物提取方法，其特征在于，包括以下步驟：

步驟A、訓練數據準備，包括生成所有訓練高分遙感影像的超像素圖、生成建筑物類別熱力圖、建筑物背景熱力圖以及初始像素語義關聯度標簽；

步驟B、深層特征提取，將獲取的高分遙感影像和高分遙感影像對應的語義標簽輸入至特征壓縮模塊，獲得深層特征圖D；

步驟C、邊界特征融合，將超像素圖G、深層特征圖D輸入至邊界注意模塊中進行運算與融合，得到邊界注意圖BA；

步驟D、像素語義關聯度學習，在生成的邊界注意圖上計算像素之間的語義關聯度，并通過轉移概率矩陣計算校正建筑物目標熱力圖；

步驟E、定義像素關聯度損失函數和分類損失函數，對像素語義關聯度學習、邊界注意模塊和特征壓縮模塊進行優化，并配合VGG16網絡中的全局平均池化層(GAP)和全連接層(FC)進行圖像類別激活可視化操作(CAM)，得到優化后的建筑物目標熱力圖；

步驟F：生成建筑物偽標注，將生成的建筑物偽標注和高分遙感影像作為全卷積神經網絡的輸入，訓練收斂后，實現建筑物特征自動提取。

2.根據權利要求1所述的一種結合像素語義關聯和邊界注意的高分影像弱監督建筑物提取方法，其特征在于，步驟A具體包括以下步驟：

a1、超像素圖生成，將高分遙感影像作為訓練輸入，輸入至超像素分割模型中，設定每個超像素圖的超像素個數，生成與所有高分遙感影像對應的超像素圖G；

a2、建筑物類別熱力圖生成，將獲得的高分遙感影像和高分遙感影像對應的語義標簽作為輸入，采用卷積神經網絡生成CAM分割種子，得到建筑物類別熱力圖M_b；

其中，W_b是建筑物類別的權值，f^cam(x,y)表示在特征圖中位于(x,y)處的特征向量；

a3、背景熱力圖生成，將步驟a2中的建筑物類別熱力圖M_b歸一化處理得到M′_b，將M′_b激活值限制在[0，1]的區間范圍內；通過式3)公式進一步計算背景熱力圖M_bg；

M_bg(x,y)＝{1-max M′_b(x,y)}^α 3)；

其中，α是超參數，α數值可設置為[1，+∞]的區間范圍，用于調整背景置信分數；

a4、建筑物可信區域獲取和背景可信區域獲取，通過步驟a3中的α放大M_bg,激活建筑物目標區域對象，選取建筑物得分大于放大背景得分的坐標作為建筑物可信區域，選取背景得分大于建筑物得分的坐標作為背景可信區域；

a5、像素語義關聯度標簽生成，得到了建筑物可信區域和背景可信區域后，將遙感影像中的其余區域視為中性區域，根據建筑物可信區域和背景可信區域做成關聯矩陣，這個關聯矩陣就是像素語義關聯度標簽，根據確定區域的類別標簽為每一對坐標分配標簽，對于一對非中性區域的坐標(x_i,y_i)和(x_j,y_j)來說，如果遙感影像中兩個不同像素同屬于同一個類別的可信區域，這兩個像素賦關聯值為1，不是同一類別的關聯值就為0；如果有一個像素是中性區域，就忽略這對坐標。

3.根據權利要求1所述的一種結合像素語義關聯和邊界注意的高分影像弱監督建筑物提取方法，其特征在于，步驟B具體包括以下步驟：

b1、采用VGG16作為基礎網絡，移除VGG16中第3、4和5個下采樣模塊的池化層，并用空洞卷積率為3的卷積塊代替；

b2、特征壓縮，將高分遙感影像和高分遙感影像對應的語義標簽輸入至卷積塊代替的VGG16網絡，代替的第3、4和5個卷積模塊輸出的特征圖的通道數分別為128、256和512維；

b3多尺度特征融合，在b2的基礎上將三個特征圖串聯成一個具有896通道數的單一特征映射；

b4、將單一特征映射再通過1x1的卷積層，生成壓縮后的深層特征圖D。