[發明專利]一種基于通道信息共享殘差模塊的實時語義分割方法

有效

• 申請號: 202010103230.6
• 申請日: 2020-02-19
• 公開（公告）號: CN111553921B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 胡建國;蔡佳輝;王金鵬;陳嘉敏;林佳玲
• 申請（專利權）人: 中山大學;廣州智慧城市發展研究院
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/0464;G06N3/08
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 王允輝

1.一種基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，包括以下步驟：

S1、將特征圖X通過二維通道信息共享殘差模塊經通道分裂進行分組操作，分成兩組，分別為X1和X2；

S2、將第一個分組X1連續經過兩個不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，再經過帶空洞卷積的3*1和1*3卷積核進行卷積操作，得到第一組分組的輸出Y1；

S3、將輸出Y1和第二分組的輸入X2進行拼接，再進行一系列帶空洞卷積和不帶空洞卷積的3*1和1*3的卷積核進行卷積操作，輸出Y2；

S4、拼接Y1和Y2后，將各通道洗牌打亂；

S5、將實時語義分割網絡中的編碼器學習到的語義特征映射到高分辨率的特征圖上，獲得密集預測；

其中，在所述步驟S1中，所述二維通道信息共享殘差模塊的表達式為：

X1＝X[:,:C/2,:,:]；

X2＝X[:,C/2:,:,:]；

Y1＝f_1-d1(f₁(X1))；

其中，C為輸入特征的通道數，f₁(·)為3×1和1×3卷核的卷積操作和一系列的ReLU、批量歸一化BN操作，f_1-d1(·)為指擴張率為d1的3×1和1×3卷積核的空洞卷積操作和一系列的ReLU、批量歸一化BN操作，f₂(·)為1×3和3×1卷核的卷積操作和一系列的ReLU、批量歸一化BN操作，f_2-d2(·)為指擴張率為d2的1×3和3×1卷積核的空洞卷積操作和一系列的ReLU、批量歸一化BN操作，為指特征通道的拼接操作，shuffle(·)為輸入的特征通道洗牌操作，括號中為通道數。

2.根據權利要求1所述的基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，在所述實時語義分割網絡的編碼階段過程中，特征圖提取得到的語義信息豐富度與降采樣模塊的操作次數正相關。

3.根據權利要求1所述的基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，所述實時語義分割網絡中的編碼器的APN模塊采用LEDNet網絡中的解碼器部分,用于融合編碼器提取的不同尺度的信息以及更精確地結合特征圖上下左右鄰域的信息。

4.根據權利要求3所述的基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，在所述實時語義分割網絡的編碼階段沿著特征圖的特征提取輸出方向，依次包括第一下采樣模塊D、第一通道信息共享殘差塊M*3、第二下采樣模塊D、第二通道信息共享殘差塊M*2、第三下采樣模塊D、第三通道信息共享殘差塊M*8、APN模塊和上采樣模塊，其中解碼階段為第一下采樣模塊D、第一通道信息共享殘差塊M*3、第二下采樣模塊D、第二通道信息共享殘差塊M*2、第三下采樣模塊D、第三通道信息共享殘差塊M*8，解碼階段為APN模塊和上采樣模塊。

5.根據權利要求4所述的基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，所述第一下采樣模塊D、第二下采樣模塊D、第三下采樣模塊D的下采樣率均為2，所述第一通道信息共享殘差塊M*3為連續3個擴張率為1的通道信息共享殘差模塊，所述第二通道信息共享殘差塊M*2為連續2個擴張率為1的通道信息共享殘差模塊，所述第三通道信息共享殘差塊M*8為連續8個擴張率分別為1、2、5、9、2、5、9、17的通道信息共享殘差模塊。

6.根據權利要求4所述的基于通道信息共享殘差模塊的實時語義分割方法，其特征在于，所述上采樣模塊的上采樣率均為8。