[發明專利]一種基于空間信息融合的語義分割方法

有效

• 申請號: 202010310940.6
• 申請日: 2020-04-20
• 公開（公告）號: CN111563508B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 李東;蔡皓洋
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/26;G06V10/80;G06V10/82;G06V10/778;G06N3/0464;G06N3/048;G06N3/09
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于空間特征融合的語義分割方法，包括：構建深度圖像分類網絡Resnet并且在圖像分類任務上進行預訓練；預訓練完成后，移除Resnet圖像分類網絡的全連接層和最后兩個池化層，完成特征提取網絡的構建；在特征提取網絡后添加多尺度特征融合模塊；在多尺度特征融合模塊后加入跨層空間特征融合模塊，并添加語義分割分類層；將模型在語義分割標注數據上進行有監督訓練，訓練結束后，利用標注數據的驗證集對語義分割模型性能進行驗證，得到最終的分割模型；將待分割圖像送入分割模型進行處理，得到最終的分割結果。本發明通過添加跨層空間融合模塊到深度語義分割模型中，顯著擴大了特征圖上每個像素的感受野，有效提升模型獲取上下文信息能力。

技術領域

本發明屬于計算機視覺領域中的語義分割領域，尤其涉及一種基于空間特征融合的語義分割方法。

背景技術

圖像的語義分割(Image?Semantic?Segmentation)是計算機視覺領域的關鍵問題和熱門研究方向，它是指基于圖像的語義信息，對整幅圖像做出像素級的分類預測，通過分割結果，計算機能更有效地理解圖像包含的信息。以自動駕駛為例，實現自動駕駛關鍵一環是系統能及時獲得車輛周邊環境的綜合理解并作出下一步判斷，因此自動駕駛成為圖像語義分割的重要應用領域。

近年來，隨著神經網絡理論和深度學習的不斷發展和完善，卷積神經網絡(CNN)因為其對圖像特征的強大提取能力，被廣泛應用至計算機視覺的各個領域之中，其中包括語義分割問題。針對語義分割任務，Jonathan?Long等提出全卷積神經網絡(FullyConvolutional?Networks,FCN)。FCN通過將圖像分類網絡VGG16中的全連接層替換為卷積層，顯著提升了語義分割任務的準確率，成為基于深度學習的語義分割方向的標志性成果。全卷積神經網絡通過池化層擴大感受野，以丟棄部分位置信息為代價獲取更多的上下文信息，最后通過上采樣操作恢復部分位置信息，得到和原圖尺寸一致的預測圖。顯而易見，上采樣過程中的信息損失會導致全卷積網絡的分割結果精度下降，結果較為粗糙。

基于編碼器-解碼器結構的算法通過一系列的編碼器和解碼器來恢復圖像的語義信息，緩解在上采樣過程中空間信息損失的問題。Vijay?Badrinarayanan等提出SegNet模型，SegNet通過記錄最大值的空間位置，能夠在上采樣階段更準確地恢復特征圖的空間信息。Olaf?Ronneberger等提出的U-net模型通過在編碼器和解碼器之間進行特征融合，以增強解碼器恢復特征細節的能力。

基于獲取上下文信息的算法則通過更好地整合不同尺度的特征信息以及結和局部信息和全局信息提升模型性能。Liang-Chieh?Chen將空洞卷積引入了語義分割模型中，空洞卷積能夠在不引入額外參數的前提下顯著增大感受野，使得模型不必大規模采用池化操作以擴大感受野，避免了池化操作所帶來的空間信息損失。DeepLabV3,PSPNet以及DenseASPP等模型采取多尺度特征融合的方式更加高效的利用圖片的上下文信息。DANet，CCNet,OCNet等模型則利用自注意力機制(self-attention?mechanism)，先計算特征圖中各個位置像素點的相關然后根據相關性對局部信息和全局信息進行融合，獲取完整而豐富的上下文信息。

發明內容

盡可能地獲取更豐富的上下文信息是獲得更好分類結果的關鍵，本發明提出一種可以靈活添加在已有網絡模型上的跨層空間特征融合(cross-layer?sptial?featurefusion，CSFF)模塊。CSFF模塊通過計算特征圖不同像素之間的關聯性，基于這種關聯性對特征圖特征進行融合。添加CSFF模塊，進一步增強模型獲取上下文信息的能力，獲得了更好的預測結果。

本發明的目的至少通過如下技術方案之一實現。

一種基于空間特征融合的語義分割方法，包括以下步驟：