[發明專利]基于特征圖恢復的場景分割方法和系統

有效

• 申請號: 201810664250.3
• 申請日: 2018-06-25
• 公開（公告）號: CN109034198B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 唐勝;張蕊;李錦濤
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

本發明涉及一種基于特征圖恢復的場景分割方法和系統，包括對原始圖像進行降采樣，得到降采樣圖像，通過特征學習網絡得到該降采樣圖像的降采樣特征圖，將該降采樣特征圖的尺寸恢復為原始圖像尺寸，得到上采樣特征圖，將該上采樣特征圖輸入場景分割網絡，得到該原始圖像的場景分割結果。本發明利用降采樣輸入圖像可以獲得的較快的分割速度；利用原始大小輸入圖像可以獲得的較高的分割精度。此外，本發明還提出了輔助中間層監督和邊境區域重加權的方法輔助場景分割神經網絡模型的優化過程，從而在保持模型加速的前提下提升加速后模型的分割精度。

技術領域

本方法屬于機器學習和計算機視覺領域，并特別涉及一種基于特征圖恢復的場景分割方法和系統。

背景技術

場景分割問題是計算機視覺領域一項重要而富有挑戰性的問題，并且在生產和生活中具有廣泛的應用價值，如自動駕駛、輔助駕駛、視頻監控等。場景分割的目標是對場景圖像中的每個像素點判斷其所屬類別。近年來，基于深度卷積神經網絡的場景分割方法取得了極大的成功，例如基于全卷積網絡的方法。然而，絕大部分現有的場景分割方法主要專注于提高分割的精度，因此常使用較深的神經網絡和較高分辨率的特征圖，這都會導致較慢的分割速度。然而在實際應用中，分割精度和分割速度都是很重要的。

近年來，大部分的神經網絡加速方法都是用于對圖像分類網絡進行加速。這些方法主要基于參數近似或網絡模仿的方法。然而，圖像分類問題和場景分割問題之間存在較大的差異。對于圖像分類問題，由于其預測值是一個圖像級別的向量，因此通常輸入圖像會被縮小為一個較小的尺寸(如為224x224)，且特征圖的分辨率通常較低(如為輸入圖像尺寸的1/32)。相比之下，場景分割問題的預測結果是像素級別的，需要更多的細節信息，因此通常使用較大尺寸的輸入圖像(如在Cityscapes數據集中輸入圖像為1024x2048)，且特征圖需要維持在較高的分辨率(如為輸入圖像尺寸的1/8)，從而捕捉圖像中更多的細節信息。較大的輸入圖像和較高分辨率的特征圖這兩個特性均會導致較慢的分割速度，但這兩個特性不會出現在圖像分類方法中。為了解決這兩個特性導致的問題，很多現有的方法對輸入圖像進行降采樣處理，這樣可以簡單有效的提升神經網絡模型的分割速度，但這是以犧牲分割精度為代價的，因為在降采樣的過程中丟失了很多圖像中的細節信息。

發明內容

為了解決上述技術問題，本發明目的在于提供一種基于特征圖恢復的場景分割方法，包括：

步驟1、對原始圖像進行降采樣，得到降采樣圖像，通過特征學習網絡得到該降采樣圖像的降采樣特征圖，將該降采樣特征圖的尺寸恢復為原始圖像尺寸，得到上采樣特征圖，將該上采樣特征圖輸入場景分割網絡，得到該原始圖像的場景分割結果。

該基于特征圖恢復的場景分割方法，其中

該場景分割方法還包括：

步驟2、直接將該原始圖像輸入至特征學習網絡，得到原始特征圖，將該原始特征圖輸入場景分割網絡，得到該原始圖像的的參考分割結果；

該步驟1還包括：

構建具有多個反卷積層的特征超分辨率學習模塊，以根據降采樣比率將該降采樣特征圖的尺寸恢復為原始圖像尺寸；

該場景分割方法還包括：

步驟3、以該原始特征圖和該參考分割結果分別優化該特征超分辨率學習模塊和該場景分割結果。

該基于特征圖恢復的場景分割方法，其中該特征超分辨率學習模塊開始和結尾，分別具有尺寸為1×1的卷積層用于降低通道數和恢復通道數。

該基于特征圖恢復的場景分割方法，其中根據該上采樣特征圖與該原始特征圖的L2距離，構建損失函數：