[發明專利]基于生成蒸餾與特征擾動的城市變化圖生成方法及其應用

有效

• 申請號: 202310927183.0
• 申請日: 2023-07-27
• 公開（公告）號: CN116665064B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 郁強;黃乾瑋;韓致遠;張香偉;王國梁
• 申請（專利權）人: 城云科技（中國）有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/17;G06V10/774;G06V10/778;G06V10/82;G06N3/0455;G06N3/0464;G06N3/0895;G06N3/091;G06N3/092;G06N3/096
• 代理公司: 杭州匯和信專利代理有限公司 33475
• 代理人: 董超

本申請提出了基于生成蒸餾與特征擾動的城市變化圖生成方法及其應用，包括教師模型和學生模型分別學習。教師模型的雙編碼器接受雙時態高清圖像與標簽文件，主解碼器預測無擾動處理的特征圖，輔助解碼器預測弱擾動處理的特征圖。輔助解碼器的預測圖與主解碼器的預測圖進行半監督損失計算，主解碼器的預測圖作為偽標簽輸入給學生模型的生成器。學生模型對未標記的雙時態高清圖像進行特征提取，每層特征經過強擾動處理。生成器將強擾動處理后的隨機像素強制生成教師模型的完整特征，得到預測圖。生成器的預測圖與部分真實標簽和偽標簽進行損失計算。教師模型和學生模型訓練完成后，輸入雙時態的城市俯瞰圖片到學生模型中，生成城市變化圖。

技術領域

本申請涉及深度學習技術領域，特別是一種涉及基于生成蒸餾與特征擾動的城市變化圖生成方法及其應用。

背景技術

現今城市變化檢測的數據來源于無人機或衛星遙感。但檢測的結果受限于設備的圖像分辨率。而圖像分辨率的提升往往受到成像傳感器的硬件成本、制造工藝和信息傳輸條件的限制，若提升會增加體積、功耗、重量。因此如何在不增加衛星、無人機相機體積和重量的前提下，利用多時相低分辨率圖像獲取更多的高頻信息，檢測出城市變化是難點。此外在拍攝的過程中，衛星電磁波也會受大氣傳播介質干擾，無人機則會因波動導致圖像分辨率不清晰。同時，變化檢測是圖像像素級別分類任務。非常依賴于數據的特性，并且圖像分割標注比較費時。

通常較大的模型具有較好的性能，但推理速度較慢，難以在有限的資源部署。為克服這個問題，才有知識蒸餾技術的提出。但目前的知識蒸餾算法通常通過模仿教師模型的輸出來提高學生模型的表現，導致學生模型的特征表征能力欠佳。

因此，亟待基于生成蒸餾與特征擾動的城市變化圖生成方法及其應用，能夠解決現有技術存在的問題。

發明內容

本申請實施例提供了基于生成蒸餾與特征擾動的城市變化圖生成方法及其應用，針對目前技術存在的圖像分辨率提升成本高、圖像分割標注費力以及模型越大推理速度越慢等問題。

本發明核心技術主要是在模型主結構上采用知識蒸餾模塊結合生成器形式、在算法性能上設計特征擾動策略、在模型數據上采用半監督方法解決像素標注問題，訓練時教師模型的預測圖會作為偽標簽輸入學生模型。

第一方面，本申請提供了基于生成蒸餾與特征擾動的城市變化圖生成方法，所述方法包括以下步驟：

S00、分別通過教師模型和學生模型進行學習，以雙時態高清圖像與標簽文件作為教師模型的輸入，以未標記的雙時態高清圖像作為學生模型的輸入；

其中，教師模型網絡堆疊層數深于學生模型；

S10、以雙編碼器、單主解碼器以及多個輔助解碼器組成教師模型，通過雙編碼器輸入雙時態高清圖像與標簽文件，通過教師模型對雙時態高清圖像與標簽文件進行弱擾動處理，通過主解碼器對輸入的無擾動處理的特征圖進行預測，通過輔助編碼器對輸入的弱擾動處理的特征圖進行預測；

S20、各輔助編碼器的預測圖與主編碼器的預測圖做半監督損失計算，以主編碼器的預測圖作為偽標簽輸入學生模型的生成器中；

S30、通過學生模型對未標記的雙時態高清圖像進行特征提取，每一層特征經過強擾動處理；

S40、將強擾動處理后的隨機像素經過生成器強制生成教師模型的完整特征，得到預測圖；

S50、將生成器的預測圖與部分真實標簽和偽標簽做損失計算；

S60、完成教師模型和學生模型訓練，輸入雙時態的城市俯瞰圖片到學生模型中，生成城市變化圖。

進一步地，S10步驟中，輔助解碼器的數量依據弱擾動處理的種類而定，輔助解碼器與類別個數一一對應。

進一步地，S00步驟中，雙時態高清圖像為兩張不同時間段的同一位置的圖像。

進一步地，S00步驟中，教師模型網絡堆疊層數為學生模型的兩倍及以上倍數。