[發明專利]基于改進SOLOv2的校園場景圖像分割方法

在審

• 申請號: 202111177879.3
• 申請日: 2021-10-09
• 公開（公告）號: CN113920411A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 蔣濤;羅鴻明;謝昱銳;吳思東;袁建英;胡澤;王月紅;崔亞男;段翠萍;羅輝
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V30/148;G06N3/04
• 代理公司: 北京遠大卓悅知識產權代理有限公司 11369
• 代理人: 賈曉燕

本發明公開了一種基于改進SOLOv2的校園場景圖像分割方法，包括：步驟1：對待檢測圖像進行主干網絡特征提取以得到對應的多層特征信息；步驟2：將多層特征信息送入到改進后的特征金子塔中進行細化并融合；步驟3：將融合后的信息送入到Head頭部進行分析，通過兩個并行的子通道，進行類別信息分析和mask實例分割；步驟4：通過矩陣非極大值抑制保留最高置信度的掩碼信息以及類別信息，步驟5：將mask特征圖映射回原圖像上，輸出帶有特征mask掩碼的圖像。本發明提供一種基于改進SOLOv2的校園場景圖像分割方法，能有效提升了對密集人群情況下的分割精度和召回率，且在面對目標遮擋和物體殘缺的情況下，本發明算法的性能明顯優先于其他算法。

技術領域

本發明涉及一種基于視覺的校園道路場景的圖像目標特征識別領域。更具體地說，本發明涉及一種用用于校園道路場景這種會存在密集物體和遮擋物體情況下的基于改進SOLOv2(實例分割)的校園場景圖像分割方法。

背景技術

校園場景作為一種較為特別的道路交通場景，相比于城市交通場景而言，擁有行人密集、道路寬度更窄，學生出行成群等特點。如今無人駕駛技術已經逐步滲透到人們的生活當中，用于校園道路場景下的無人接駁車自動駕駛技術也成為了當下高校的研究熱點。

在無人接駁車環境感知部分，通常通過攝像頭對道路環境信息進行采集，通過相應算法對圖像中的所需特征物體，例如行人、車輛、自行車等進行像素級的分割，并按照每個獨立的物體打上彩色掩碼，以獲得各個目標物體的掩碼信息，而現有的方法而言主要存在未考慮在場景中出現人群密集、存在大量物體遮擋、目標殘缺的情況，故對于遮擋、殘缺的目標無法進行分割識別的缺點。

以基于深度卷積神經網絡的室外場景多目標分割方法為例，主要包括以下步驟：1)特征提取步驟：深度網絡將原始輸入圖像通過多個卷積層加上池化層的組合得到4個不同尺度的特征譜；卷積操作通過點卷積加深度卷積組合實現；2)特征融合步驟：把特征提取步驟里面的兩個不同尺度的特征做融合操作；先將較小尺度的特征譜反卷積恢復到較大尺寸的特征譜的尺寸，再將兩個輸入譜上相同位置上的元素按照對應位置的濾波器系數進行加權求和得到融合特征譜；3)多尺度池化步驟：對融合特征譜使用4個不同尺度的池化操作，不同尺度的池化后在每個特征譜上接上一個卷積操作，然后分別用雙線性插值的方式恢復到輸入的融合特征譜的尺寸大小，最終將4個特征譜進行連接，得到池化輸出特征譜；4)上采樣步驟：上采樣網絡由兩個卷積層和數據變換層組成，確定要恢復的原始圖像的高寬與兩個卷積層后輸出特征譜高寬相差n倍，則把輸出譜按照每n2個通道中同一位置的像素點重新在一個圖像中排列成n*n的區域，兩個卷積層后輸出特征譜經數據變換層得到恢復到原圖像尺寸的特征譜。其存在的缺點就在于：

1、上采樣和下采樣過程中使用的1*1卷積變換通道的方式過于直接和粗暴，容易導致深層次的語義信息丟失；

2、當面臨圖像中存在物體數量較多，出現大量遮擋時，就會出現難以有效進行融合的問題；

3、當場景中目標物體出現密集、遮擋、殘缺時，特征物體的上下文語義信息將會相差很大，易造成融合時出現較大語義鴻溝，難以保證分割精度，以及有效的檢測效果。

發明內容

本發明的一個目的是解決至少上述問題和/或缺陷，并提供至少后面將說明的優點。

為了實現根據本發明的這些目的和其它優點，提供了一種基于改進SOLOv2的校園場景圖像分割方法，包括：

步驟1：對待檢測圖像進行主干網絡特征提取以得到對應的多層特征信息；

步驟2：將多層特征信息送入到改進后的特征金子塔中進行細化并融合；

步驟3：將融合后的信息送入到Head頭部進行分析，通過兩個并行的子通道，進行類別信息分析和mask實例分割；