[發明專利]基于二分類張量增強的多分類語義分割方法

在審

• 申請號: 202210274049.0
• 申請日: 2022-03-20
• 公開（公告）號: CN114693967A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李宏亮;高翔宇;邱奔流
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/26;G06K9/62
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄒裕蓉

本發明提供一種基于二分類張量增強的多分類語義分割方法，包括步驟：將需要將分類的圖片輸入至原始分割網絡中；由原始分割網絡的特征提取部分進行特征提取，將提取的特征并行輸入至N個二分類頭以及中轉部分；N個二分類頭對輸入的特征分別進行二分類處理輸出N個二分類張量，中轉部分輸出待分類特征；將N個二分類前景分數圖與待分類特征進行級聯，級聯張量最后送入多分類頭，多分類頭對輸入的級聯張量進行N分類處理并輸出N分類張量作為最終的多分類結果。本發明可以簡單地加入到多數分割網絡結構中，僅帶來少量的網絡參數量增加。相較于直接用CE損失優化多分類頭結果的方法，本發明方法能在增加少量參數消耗的情況下提升分割網絡的分類性能。

技術領域

本發明涉及多分類技術，特別涉及一種基于二分類張量增強支援多分類分割的技術。

背景技術

隨著硬件算力與深度學習的不斷發展，對圖像的高精度像素級處理的需求愈加普遍。圖像分割作為計算機視覺中最為常見的視覺任務，依托深度神經網絡可以實現對圖像的像素級分類。在許多應用場景中，圖像分割是處理流程中不可或缺的一環，如自動駕駛、增強現實等，分割的結果直接影響了下游處理的效果。本發明主要致力于增強分割網絡的分類環節，從而提升分割效果。

多數實現語義分割的網絡最終僅通過交叉熵(CE)損失優化最終輸出的多分類張量，在多數任務中取得了相對較好的分割結果。然而由于CE損失僅激勵正確類別上的預測分數，容易忽略對相似類別分數的抑制，進而容易導致網絡在分辨相似類別時產生混淆。尤其是在人體解析等具體下屬任務中，混淆類別帶來的誤分類對網絡的影響顯得不可忽視。使用二分類頭支援多分類頭可以增加分割網絡的分類能力，但各個類別的二分類預測之間的關系難以通過BCE損失得到反映，故二分類頭的輸出張量可以再進一步通過新的損失約束，實現對最終結果更好的支援。

發明內容

本發明所要解決的技術問題是，提供一種新型損失對二分類張量進行優化，使得二分類張量可以更好支援語義分割網絡的最終結果，實現到多分類結果更好的支援的方法。本方法旨在減少二分類張量中不正確類別的預測在各個真值區域的二分類分數，以及進一步加強各個真值區域內正確預測的分數。另外，本發明旨在進一步提高分割網絡對相似類別的分類能力。通過對已有網絡結構增加簡單的二分類頭，對損失進行優化，從而提升二分類張量對最終結果的支持效果，進一步提升最終分割結果的平均交并比。

本發明為解決上述技術問題所采用的技術方案是，基于二分類張量增強的多分類語義分割方法，包括步驟：

1)將需要將分類的圖片輸入至原始分割網絡中；原始分割網絡包括特征提取部分與一個多分類頭；

2)由原始分割網絡的特征提取部分進行特征提取，將提取的特征并行輸入至N個二分類頭以及中轉部分；

3)N個二分類頭對輸入的特征分別進行二分類處理輸出N個二分類張量，中轉部分保持輸入特征的維度并進行簡單的特征轉換，輸出待分類特征；

4)將N個二分類前景分數圖與待分類特征進行級聯，級聯張量最后送入多分類頭，多分類頭對輸入的級聯張量進行N分類處理并輸出N分類張量作為最終的多分類結果。

進一步的，訓練過程實現多分類方法的整個網絡采用的損失函數L為：L＝L_CE+α·L_BCE+β·L_B2M；其中，L_CE與L_BCE分別是多分類頭和二分類頭的交叉熵損失，α和β是超參數；

L_B2M為強化二分類張量支援屬性的損失，L_B2M＝L_overlap+L_missing；L_overlap為反映二分類中不合理交疊的損失項，L_missing為反映二分類中缺失預測的損失項。