[發明專利]一種基于并行特征補全的多階段實例分割方法及系統

在審

• 申請號: 202211580594.9
• 申請日: 2022-12-09
• 公開（公告）號: CN115797635A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 王海;朱世林;蔡英鳳;陳龍;李祎承;劉擎超
• 申請（專利權）人: 江蘇大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/82;G06V10/25;G06V10/42
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 王軍麗

本發明公開了一種基于并行特征補全的多階段實例分割方法及系統，經過數據前處理得到適用于系統輸入的數據格式后，在骨干網絡ResNet50引入GC Block獲取實例關聯信息。然后提出并行語義分支和并行全局分支，提取特征層的語義和全局信息，實現RoI特征的補全。再經過邊界框動態交互模塊和檢測分支得到邊界框的回歸。此外，還提出了特征傳遞結構，通過顯式增加檢測與分割分支的聯系，改變梯度反向傳播的路徑進而間接補全RoI特征，在經過掩碼動態交互模塊和掩碼分支得到實例掩碼。值得強調的一點，上述結構均為并行的，即階段與階段之間沒有干擾，并且與QueryInst的并行監督機制相契合。并且還將其與非并行結構比較，進一步凸顯所提并行結構的優越性能。

技術領域

本發明屬于智能自動駕駛汽車環境感知技術領域，特別涉及一種基于并行特征補全的多階段實例分割方法及系統。

背景技術

實例分割是一項基本的卻具有挑戰性的計算機視覺任務，需要識別圖像中的對象，并且在像素級別的層面上對每個感興趣的對象進行分割。因此，將實例分割算法應用到自動駕駛場景，可以在實例級和像素級層面同時區分行人，汽車，騎手等關注對象，具有工程意義。

實例分割方法依據生成掩碼的階段數目可以大致分為單階段，二階段，以及多階段。單階段方法的掩碼生成過程各不相同，關鍵在于掩碼的建模和監督是否耦合。其優勢在于推理速度快，但是精度不夠高。二階段方法普遍建立在Mask R-CNN的基礎上，首先得到感興趣的區域，然后引出掩碼分支對該局部區域進行二值化。二階段方法普遍比一階段的精度高，但是速度略低一些。多階段方法則是二階段方法的推廣，其目的在于追求更高的精度。目前，主流的實例分割方法是建立在注意力機制的基礎上，通過結合掩碼信息與對象查詢，對對象查詢進行編碼-解碼，最后得到分割結果。因此，考慮到算法在自動駕駛汽車對準確性的要求，兼具多階段和注意力機制的算法越來越受到學界和工業界的關注。

QueryInst是第一個融合注意力機制的多階段方法，但是對RoI(region ofinterest)特征補全的單一性、與骨干網絡ResNet50聯系的不足以及RoIAlign(region ofinterest align)的局部性和被動性，這三種因素造成了RoI特征的不足。RoI特征的不足則會導致無法與背景特征相互區分，造成關注的對象未進行實例級的區分和像素級的分割。于是，針對QueryInst進行特征補全，以此實現實例分割的效果更加全面是一個值得研究的方向。

發明內容

針對此問題，本發明提出了一種基于并行特征補全的多階段實例分割方法及系統，來進行QueryInst方法每個階段的并行性特征補全，從而使得特征層上的實例信息與周圍的背景信息更易區分，進而使得分割的關注對象更加全面，以此來提高QueryInst方法的精度。具體技術方案如下：

一種基于并行特征補全的多階段實例分割方法，包括以下步驟：

S1數據預處理；

S2帶有全局上下文的骨干網絡ResNet50特征提取；

S3將特征輸入QueryInst-Parallel Completion網絡頭部，得到補全的掩碼結果；

S4并行語義分支特征補全；

S5并行全局分支特征補全；

S6并行特征傳遞，輸出分割結果。

進一步，所述S1的數據預處理具體如下：

S1.1從本地文件加載數據集，

S1.2從本地文件加載標簽文件；

S1.3對輸入的圖像和標簽調整大小；

S1.4進行隨機翻轉處理；

S1.5進行歸一化和邊界補零處理得到具有三通道的數字形式的圖像。