[發明專利]一種基于通道信息共享殘差模塊的實時語義分割方法

有效

• 申請號: 202010103230.6
• 申請日: 2020-02-19
• 公開（公告）號: CN111553921B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 胡建國;蔡佳輝;王金鵬;陳嘉敏;林佳玲
• 申請（專利權）人: 中山大學;廣州智慧城市發展研究院
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/0464;G06N3/08
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 王允輝

本發明涉及計算機視覺領域，公開了一種基于通道信息共享殘差模塊的實時語義分割方法，其包括步驟：將特征圖X通過二維通道信息共享殘差模塊經通道分裂進行分組操作，分成X1和X2兩組；將分組X1連續經過兩個不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，再經過帶空洞卷積的3*1和1*3卷積核進行卷積操作，得到輸出Y1；將輸出Y1和輸入X2進行拼接，再進行一系列帶空洞卷積和不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，輸出Y2；拼接Y1和Y2后，將各通道洗牌打亂；將實時語義分割網絡中的編碼器學習到的語義特征映射到高分辨率的特征圖上，獲得密集預測。該方法可對輸入的特征圖進行實時精確地分割，有效降低了整個網絡的參數量，提高了計算效率，提高了特征圖的實時分割精度。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于通道信息共享殘差模塊的實時語義分割方法，具有魯棒性強、計算效率高的特點。

背景技術

語義分割一直是計算機視覺領域的熱門方向，其應用領域廣泛，例如增強現實，自動駕駛，計算攝影學，人機交互，圖像搜索引擎等。語義分割的目的是給圖片中的每個像素進行分類，使每個像素都被標注上對應區域的類別，屬于密集預測，因此需要耗費大量的計算資源。為了將語義分割算法應用到移動設備上，減輕對計算資源的依賴，近幾年越來越多的學者致力于構建實時化語義分割算法。

語義分割一直是計算機視覺領域一個具有挑戰性的方向。一張圖片里面往往會有多種種類的物品，例如Cityspaces數據集的圖片，是在汽車上采集的汽車窗外的街景圖片，圖片里面都各種高樓大廈，行人，路燈等，分割目標物的種類很多，尺寸大小不一，所以要對其進行語義分割，是一項很有挑戰性的任務。實時語義分割除了面臨傳統語義分割的挑戰之外，還需要提高分割速度，滿足實時性要求?？傊?，目前的實時語義分割技術主要存在的不足之處有：

第一，實時性不足。許多實時語義分割網絡為了滿足一定的分割精度，建立的網絡結構復雜，訓練速度和分割的速度慢，訓練成本高。

第二，分割精度低。為了滿足實時性的要求，一些輕量型語義分割網絡犧牲了分割的精度從而來提高分割的速度，很難做到精度和速度兩方面同時提升。

為了解決上述問題，本發明提出一種基于通道信息共享殘差塊的實時語義分割方法。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種基于通道信息共享殘差模塊的實時語義分割方法。

一種基于通道信息共享殘差模塊的實時語義分割方法，其包括以下步驟：

S1、將特征圖X通過二維通道信息共享殘差模塊經通道分裂進行分組操作，分成兩組，分別為X1和X2；

S2、將第一個分組X1連續經過兩個不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，再經過帶空洞卷積的3*1和1*3卷積核進行卷積操作，得到第一組分組的輸出Y1；

S3、將輸出Y1和第二分組的輸入X2進行拼接，再進行一系列帶空洞卷積和不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，輸出Y2；

S4、拼接Y1和Y2后，將各通道洗牌打亂；

S5、將實時語義分割網絡中的編碼器學習到的語義特征映射到高分辨率的特征圖上，獲得密集預測。

優選地，在上述的基于通道信息共享殘差模塊的實時語義分割方法中，在所述步驟S1中，所述二維通道信息共享殘差模塊的表達式為：

X1＝X[:,:C/2,:,:]；

X2＝X[:,C/2:,:,:]；

Y1＝f_1-d1(f₁(X1))；