[發明專利]基于自監督低秩網絡的半監督圖像語義分割方法及裝置

有效

• 申請號: 202110396330.7
• 申請日: 2021-04-13
• 公開（公告）號: CN113222998B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 朱鵬飛;潘俊文;徐瑋毅;王漢石;趙帥;胡清華
• 申請（專利權）人: 天津大學;中汽數據（天津）有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08;G06K9/62;G06V10/762
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于自監督低秩網絡的半監督圖像語義分割方法及裝置，方法包括：構建自監督低秩網絡，將來自兩個分支的掩碼分別進行逆幾何變換，利用優化模塊產生偽掩碼輸入到LR低秩模塊；在每次迭代中，通過softmax歸一化注意力和溫度系數來計算賦值矩陣P；通過聚合輸入特征X來更新最優基μ，獲取類別為C的softmax規范化的類激活圖A和深特征X₁后，通過加權平均值計算第k個初始化基；在基初始化過程中使用由分類損失和偽掩碼分割損失構成的目標函數進行監督，對LR低秩模塊的輸出結果進行解碼和優化，根據損失對自監督低秩網絡進行更新。裝置包括：構建模塊、優化模塊、LR低秩模塊、更新模塊、預測模塊、監督模塊、輸出模塊。

技術領域

本發明涉及圖像語義分割領域，尤其涉及一種基于自監督低秩網絡的半監督圖像語義分割方法及裝置。

背景技術

最近，基于深度學習的語義分割模型通過大規模像素級標簽訓練，取得了重大進展。然而，這種有監督的方法需要大量的人工標注，這既耗時又昂貴。為了減少標注像素級標簽的工作量，大量研究開發了具有低成本標注的弱監督語義分割方法(WSSS)，例如：邊界框、涂鴉、點和圖像級標簽。

大多數流行的圖像級WSSS方法都需要經過多個訓練和優化階段來獲得更精確的偽標簽。這些方法通常從弱監督定位開始，例如：類激活圖(CAM)，它突出了圖像中最具辨別力的區域。多樣化的增強CAM生成網絡和CAM優化程序旨在將突出顯示區域擴展到整個對象或消除誤差的突出顯示區域。雖然這些多階段方法可以產生更精確的偽標簽，但它們存在著大量的超參數和復雜的訓練過程。相比之下，單階段WSSS方法由于分割精度較低而受到較少關注。

最近，現有技術中又提出了一個簡單的單級WSSS模型，該模型在線生成像素級偽標簽作為自監督。然而，它的性能仍然不如比較先進的多級模型。單級模型性能不佳的原因是：在線不準確偽標簽監督導致的誤差復合效應。

與多級優化相比，在線自訓練有望在訓練過程中逐步提高語義的保真度和完整性。然而，這也增加了誤差被模仿和累積的風險，并且會出現梯度流從頂層反向傳播到下層的現象。

發明內容

本發明提供了一種基于自監督低秩網絡的半監督圖像語義分割方法及裝置，本發明克服了由自監督錯誤引起的符合效應，在復雜性和準確性方面均優于當前的單極和多級WSSS方法(弱監督語義分割方法)，詳見下文描述：

第一方面，一種基于自監督低秩網絡的半監督圖像語義分割方法，所述方法包括：

構建自監督低秩網絡，將來自兩個分支的掩碼分別進行逆幾何變換，利用優化模塊產生偽掩碼輸入到LR低秩模塊；

輸入N個特征X與K個初始化基μ，采用迭代注意機制尋找一組最優基μ和賦值矩陣P，在每次迭代中，通過softmax歸一化注意力和溫度系數來計算賦值矩陣P；

通過聚合輸入特征X來更新最優基μ，在V次迭代之后，收斂的賦值矩陣P和最新的最優基用于重建輸入特征X；

添加了由兩個卷積層組成的輔助解碼器來預測粗類激活圖，獲取類別為C的softmax 規范化的類激活圖A和深特征X₁后，通過加權平均值計算第k個初始化基；

在基初始化過程中使用由分類損失和偽掩碼分割損失構成的目標函數進行監督，對LR 低秩模塊的輸出結果進行解碼和優化，根據損失對自監督低秩網絡進行更新。

在一種實現方式中，所述自監督低秩網絡為：將已建立的編碼器-解碼器分段網絡擴展為共享權重的孿生神經網絡結構；

將來自某一圖像的兩個增強視圖作為輸入，編碼器網絡處理視圖并生成特征映射，該特征映射作為LR低秩模塊的輸入，重新估計特征映射后，將具有LR特性的特征分別反饋給解碼器網絡，來預測掩碼。

第二方面，一種基于自監督低秩網絡的半監督圖像語義分割裝置，所述裝置包括：