[發明專利]一種基于深度學習的全景分割方法

在審

• 申請號: 202110337987.6
• 申請日: 2021-03-30
• 公開（公告）號: CN113096136A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 賈海濤;毛晨;齊晨陽;賈宇明;許文波;王云;鄒新雷;王子彥
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于深度學習的全景分割技術。該發明在全景分割方向上具有一定的通用性與泛化能力。在全景分割中子網絡之間即存在著較大的差異性，又存在著緊密的聯系。一方面語義分割應用于圖像背景類別的像素分割，其更關注場景的語義信息；而實例分割注重圖像中個體實例的分割，在特征上關注于圖像的結構信息。因此本發明根據子網絡特點設計相應的注意力模塊，使子網絡能更好的關注于各自的分割對象。另一方面，圖像中背景于前景往往具有豐富的語義關系，合理應用背景與前景的上下文語義能夠更好的促進子網絡的分割。因此本發明設計語義輔助實例分割模塊，使子網絡間的特征信息能夠更好的交流，達到相互促進的效果。本發明的方法具有良好的通用性，能夠很好的運用在各種全景分割網絡中。

技術領域

本發明屬于計算機視覺領域，屬于場景解析中對圖像進行像素級分割的圖像分割技術。

背景技術

圖像分割是計算機視覺領域的一大研究熱點，其目的是根據圖像中顏色、形狀、語義等特征將圖像劃分為若干區域。在深度學習技術之前，圖像分割多采用一些傳統的圖像處理方法，例如閾值法、區域生長、邊緣檢測等。隨著神經網絡的興起與快速發展，圖像分割領域在諸多方面取得巨大的進展。深度學習下的圖像分割技術主要包括了語義分割、實例分割與全景分割。語義分割、實例分割與全景分割的示意圖如附圖1所示。其中左邊圖像為語義分割示意圖，中間為實例分割示意圖，右邊為全景分割示意圖。

圖像語義分割的主要任務是對圖像中每一個像素點的進行類別預測，實現圖像的像素級別分割。實例分割在目標檢測的基礎上融合了語義分割，實現對實例對象進行像素級別的分割，它在對像素點進行分類的同時賦予每個像素點相對應的實例ID。一般來說，語義分割關注的是圖像背景的分割，而實例分割則關注的是前景實例的分割。為了統一語義分割與實例分割的工作，最近學者們提出了一項新的分割任務——全景分割。全景分割融合了語義分割與實例分割，其主要任務是對場景圖像中每一個像素點進行語義類別預測(stuff)，并為屬于實例目標(things)的像素賦予實例識別號，以實現更為全面的場景理解。全景分割能夠提供非常豐富的語義信息與精細的場景圖像分割，是未來自動駕駛、生物醫學等領域的關鍵技術。然而，由于全景分割相比語義分割與實例分割更為復雜，目前仍無法實現工業上的應用。

由于語義分割與實例分割屬于不同的視覺任務，其輸入數據、網絡結構及訓練策略等都存在著較大的差異，因此全景分割采用兩個子網絡實現語義分割與實例分割，再經過后處理融合方法對語義分割與實例分割結果進行融合，得到最終的全景分割結果。因此全景分割子網絡的分割結果將直接影響全景分割的效果。同時這種方法將會帶來大量的冗余計算。在一幅場景圖像中，前景與背景往往存在著密切的聯系，如何利用兩個子網絡間的信息相互促進，減少不必要的計算，是全景分割一項重要的研究內容。本發明著力于通過改進全景分割子網絡以促進全景分割網絡的性能。本發明具有較好的通用性，能夠方便的與各種全景分割網絡相結合。

發明內容

為了有效的提升全景分割網絡性能，本發明針對全景分割子網絡特點，分別設計了語義注意力模塊、實例注意力模塊以增強全景分割子網絡的分割能力。同時針對語義分割與實例分割的相關性，設計語義輔助實例模塊，增強子網絡間的特征信息傳遞。

本發明所采用的技術方案是：

步驟1：使用ResNet-50和FPN網絡作為全景分割特征提取的骨干網絡。提取具有多尺度特征信息的特征圖C1,C2,C3,C4,C5。

步驟2：將步驟1中C2～C5作為共享特征分別送入語義分割子網絡與實例分割子網絡中。

步驟3：該步驟是該專利的核心內容之一。語義分割子網絡中將共享特征通過語義注意力模塊，再進行上采樣得到語義分割特征圖。語義注意力模塊如附圖2所示。

步驟4：該步驟是該專利的核心內容之一。實例分割子網絡中將共享特征通過實例分割模塊，再經過RPN網絡得到實例候選錨框。實例注意力模塊如附圖3所示。