[發明專利]一種基于深度學習的正射影像高層建筑基底矢量提取方法

有效

• 申請號: 202110417526.X
• 申請日: 2021-04-19
• 公開（公告）號: CN113139453B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳奇;張遠誼;李欣園
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/28;G06V10/44;G06V10/764;G06N3/0464;G06V10/82;G06N3/048;G06N3/08
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 曹雄

1.一種基于深度學習的正射影像高層建筑基底矢量提取方法，其特征在于，包括以下步驟：

S1、構建遙感影像建筑物樣本集；

S2、利用建筑物樣本集，以ResNet為骨架構建多任務CNN模型，輸入正射影像和范圍一致的建筑物屋頂和墻面標簽影像、建筑物整體外接矩形坐標以及投影差偏移向量，通過一系列的卷積、池化操作，提取遙感影像中建筑物的特征；所述多任務CNN模型的輸出項包括建筑物屋頂和墻面矢量、建筑物整體外接矩形范圍、投影差預測偏移向量以及建筑物基底矢量；

S3、使用候選區域生成網絡RPN模塊確定建筑物包括屋頂和墻面的整體目標框選范圍，得到建筑物整體外接矩形參數，并基于RPN模型預測的候選區域，對全卷積網絡骨架的輸出特征進行抽取和重采樣，為每個候選區生成特征圖；

S4、采用Faster-RCNN模型結構，對候選區特征圖進行全連接加密，并對候選區內建筑物的存在概率進行預測；

S5、對建筑物存在概率高的候選區特征圖進行全卷積處理，生成區域內建筑物屋頂、墻面、背景三個類別的語義分割結果，并對屋頂的分割結果進行輪廓提取與規則化處理，生成屋頂輪廓矢量；

S6、根據三類分割結果進行特征池化，將三類特征圖級聯，進行多次卷積和全連接操作，對建筑物投影差偏移向量進行預測，并基于偏移向量估計值將屋頂輪廓矢量移動至建筑基底區域；

根據所述輸出項，利用損失函數計算所述多任務CNN模型的損失值Loss，具體的數學公式為：

L_sample＝L_cls+L_box+L_mask+L_offset

其中，L_cls為預測類別與地表真實類別差異的損失，具體的數學公式為：

其中，i表示樣本序號，p_i表示目標框是否為建筑物整體的預測概率，表示與其對應的真值，存在建筑物為1，不存在建筑物為0；

L_box為預測框與樣本真值框之間位置偏差的損失函數，具體的數學公式為：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)，

其中，t_j表示當前矩形位置的4個改正參數預測值，表示該矩形為正樣本時的改正參數真值，t_x、t_y、t_w、t_h分別指預測矩形相對于矩形模板的中心橫坐標、中心縱坐標、寬、高的偏移量；t_x^*、t_y^*、t_w^*、t_h^*分別指真實矩形相對于矩形模板的中心橫坐標、中心縱坐標、寬、高的偏移量；x、x_a和x^*分別表示預測矩形、矩形模板以及真實矩形起點的x坐標，y、y_a和y^*分別表示預測矩形、矩形模板以及真實矩形起點的y坐標，w、w_a和w^*分別表示預測矩形、矩形模板以及真實矩形的寬，h、h_a和h^*分別表示預測矩形、矩形模板以及真實矩形的高；

L_mask為模型預測像素標簽與真值標簽差異的損失函數，由于對目標框進行一次三類別語義分割，其計算方法為逐像素求多分類交叉熵，具體的數學公式為：

其中，K為像素分割類別總數，K＝3；y_n為該像素的是否為第n類別的預測概率值，對應其真值，屬于第n類別為1，不屬于第n類別為0；

L_offset為模型預測投影差偏移向量與實際偏移向量之間差異的損失函數，計算方式與L_box相似，即：

其中u和v表示投影差偏移向量的預測值，u₀和v₀表示投影差偏移向量的參考值，u_min、v_min表示投影差偏移向量的最小值，u_max和v_max表示投影差偏移向量的最大值，具體值根據屋頂輪廓移動過程中不能超出目標檢測外接矩形框范圍這一條件推算。