[發明專利]一種基于雙邊分割網絡的車載圖像語義分割系統

有效

• 申請號: 201810849657.3
• 申請日: 2018-07-28
• 公開（公告）號: CN109101907B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 高常鑫;何兆華;余昌黔;桑農
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

本發明公開了一種基于雙邊分割網絡的車載圖像語義分割系統，包含：數據存儲模塊，用于存儲車載圖像訓練集和待測車載圖像；雙邊分割網絡包含空間通道和上下文通道，空間通道用于提取車載圖像的空間信息，上下文通道用于提取車載圖像的上下文語義信息；訓練模塊，用于利用車載圖像訓練集訓練雙邊分割網絡；語義分割模塊，用于利用訓練好的雙邊分割網絡，預測待測車載圖像，得到待測車載圖像中每個像素所屬的類別。本發明提出的包含空間通道與上下文通道的雙邊分割網絡，所述空間通道用于提取圖像的空間信息的同時保留足夠的空間信息，所述上下文通道用于提取圖像的上下文語義信息的同時保證足夠大的感受野。

技術領域

本發明屬于模式識別技術領域，更具體地，涉及一種基于雙邊分割網絡的車載圖像語義分割系統。

背景技術

圖像語義分割是計算機視覺中的基石問題之一，可廣泛地應用于增強現實設備、自動駕駛、視頻監控等場景中。圖像語義分割，也就是對圖像中每個像素賦予一個語義標簽，即識別出每個像素所屬類別，以此同時也能分割出不同物體。

目前，實時的圖像語義分割算法主要是通過以下三種方式來加速模型：1)通過修剪或調整圖像，進而約束輸入圖像的大小，從而減少計算的復雜度；2)通過修剪網絡的通道數，特別是在基礎模型的初期階段進行通道剪枝，從而減少推斷時間；3)通過丟棄模型的末尾階段，從而得到一個非常緊湊的網絡框架。但是，上述方法都存在各自的缺點，方法1)和2)會導致空間信息的缺失，方法3)中末尾階段沒有用到下采樣，會導致沒有足夠大的感受野。這些方法都是利用精度換取速度，在實踐上這些方法并不可取。

U型結構的引入可以修補上述方法所造成空間信息的缺失，通過融合骨干網絡分層的特征，U型結構能逐漸增加空間分辨率且能填補缺失的信息。但是這種技術有兩個缺點：高分辨率特征圖的引入會造成額外的計算；不能恢復由通道剪枝和圖像裁剪所造成的大部分缺失空間信息。因此，這種技術也只是能減輕空間信息缺失程度，并不是一個本質的解決方案。

發明內容

針對現有技術的缺陷，本發明的目的在于解決現有技術實時圖像語義分割方法存在的空間信息缺失以及感受野縮減等技術問題。

為實現上述目的，本發明實施例提供了一種基于雙邊分割網絡的車載圖像語義分割系統，所述系統包含數據存儲模塊、訓練模塊、雙邊分割網絡和語義分割模塊：

所述數據存儲模塊，用于存儲車載圖像訓練集和待測車載圖像；

所述雙邊分割網絡包含空間通道和上下文通道，所述空間通道用于提取車載圖像的空間信息，所述上下文通道用于提取車載圖像的上下文語義信息；

所述訓練模塊，用于利用車載圖像訓練集訓練所述雙邊分割網絡；

所述語義分割模塊，用于利用訓練好的雙邊分割網絡，預測待測車載圖像，得到待測車載圖像中每個像素所屬的類別。

具體地，所述空間通道包含3層，每層包含依次連接的卷積層、BN層、ReLU函數，車載圖像經過空間通道之后，獲得尺寸為原始車載圖像尺寸的1/8、且通道數為128的特征圖。

具體地，所述上下文通道包含輕量化網絡模型Xception和兩個注意力提純模塊，圖像經過上下文通道后獲得通道數為128的特征圖。

具體地，所述輕量化網絡模型Xception包括4個下采樣階段，第一下采樣階段對圖像進行快速下采樣，第二下采樣階段、第三下采樣階段、第四下采樣階段均對上一個下采樣階段輸出的特征圖進行下采樣。

具體地，注意力提純模塊，利用全局均值池化獲取全局的上下文信息，并通過注意力向量指導特征的學習，用于去除下采樣特征圖包含的冗余信息。

具體地，所述注意力提純模塊的輸入，依次經過全局均值池化層、卷積層、BN層、ReLu函數，得到的維度與輸入的通道數相等的向量，該向量與注意力提純模塊的輸入相乘，獲得通道數為128的特征圖。