[發明專利]基于改進SOLOv2的校園場景圖像分割方法

在審

• 申請號: 202111177879.3
• 申請日: 2021-10-09
• 公開（公告）號: CN113920411A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 蔣濤;羅鴻明;謝昱銳;吳思東;袁建英;胡澤;王月紅;崔亞男;段翠萍;羅輝
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V30/148;G06N3/04
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 賈曉燕

1.一種基于改進SOLOv2的校園場景圖像分割方法，其特征在于，包括：

步驟1：對待檢測圖像進行主干網絡特征提取以得到對應的多層特征信息；

步驟2：將多層特征信息送入到改進后的特征金子塔中進行細化并融合；

步驟3：將融合后的信息送入到Head頭部進行分析，通過兩個并行的子通道，進行類別信息分析和mask實例分割；

步驟4：將所得到大量冗余預測信息進行矩陣非極大值抑制，根據置信度從高到底排列保留最高置信度的掩碼信息以及類別信息，將保留下來的類別信息以及mask通道所得的特征進行融合，以得到對應的mask特征圖，

步驟5：將mask特征圖映射回原圖像上，輸出帶有特征mask掩碼的圖像。

2.如權利要求1所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，在步驟一中，所述主干網絡被配置為采用帶有內卷算子involution的深度殘差網絡；

其中，在深度殘差網絡中，待檢測圖像通過空間域特征置換層獲取需要專注的目標信息，再引入通道域注意力機制對神經網絡進一步細化，以保留小目標信息；

在特征提取過程中，用Mish激活函數替換掉部分Relu函數，獲得自上而下且尺寸不同的C2，C3，C4，C5四層特征圖。

3.如權利要求2所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，在步驟一中，所述待檢測圖像的寬高比配置為1600*800；

在四層特征圖中各層圖像尺寸被配置為依次減半，其中，C2為低層語義特征圖，C5為高層語義特征圖。

4.如權利要求1所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，在步驟二中，所述特征金字塔部分是接在主干網絡后面的neck組織，通過將最后一層的特征圖引出一個額外的分支，進行特征細化，并加在特征金字塔的最上層進行融合；同時對其他三層提取到的特征信息進行進一步的細化和融合并進行語義信息歸并后輸出細化融合后的四種尺寸大小不同的特征信息P2、P3、P4、P5。

5.如權利要求4所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，在步驟二中，所述P2、P3、P4、P5的獲取方法被配置為包括:

將四層特征圖C2，C3，C4，C5分別進行1*1的卷積降維，通過變換其通道數得到對應的M2，M3，M4，M5；

經過殘差特征增強后的C5與對齊通道后的M5經過融合得到P5；

經過2倍以上采樣的P5、P4、P3，與對齊通道后的M4、M3、M2，分別通過3*3卷積得到對應的P4、P3、P2。

6.如權利要求5所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，所述步驟二中，還包括對P2、P3、P4、P5進行自適應空間融合；

其中，所述自適應空間融合的步驟被配置為包括：

將P2、P3、P4、P5采用Concat函數進行融合后，依次通過1*1卷積降維、3*3卷積、sigomid函數歸一化以得到新特征圖；

將新特征圖與原圖進行權重聚合以輸出最終的預測結果。

7.如權利要求5所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，對C5進行殘差特征增強的方法是通過另起一條支路，對P5依次進行自適應池化操作、1*1卷積降維、上采樣以及自適應空間融合以得到。

8.如權利要求1所述的基于改進SOLOv2的校園場景圖像分割方法，其特征在于，在步驟三中，將四層特征圖的融合結果輸入到Head部分進行預測以及分割工作，通過在圖像上劃分一定數目的網格，當圖像上目標物體的質心落入到所劃分的某個網格之中時，該網格就會對其進行預測；

其中，在兩個并行通道進行預測時，物體的類別信息通過類別預測分支kernel branch以得到，物體的mask信息通過mask特征分割分支feature branch以得到，進而獲取到包括大量冗余預測信息的2000種置信度不同的特征信息。