[發明專利]基于自監督低秩網絡的半監督圖像語義分割方法及裝置

有效

• 申請號: 202110396330.7
• 申請日: 2021-04-13
• 公開（公告）號: CN113222998B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 朱鵬飛;潘俊文;徐瑋毅;王漢石;趙帥;胡清華
• 申請（專利權）人: 天津大學;中汽數據（天津）有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08;G06K9/62;G06V10/762
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于自監督低秩網絡的半監督圖像語義分割方法，其特征在于，所述方法包括：

構建自監督低秩網絡，將來自兩個分支的掩碼分別進行逆幾何變換，利用優化模塊產生偽掩碼輸入到LR低秩模塊；

輸入N個特征X與K個初始化基，采用迭代注意機制尋找一組最優基μ和賦值矩陣P，在每次迭代中，通過softmax歸一化注意力和溫度系數來計算賦值矩陣P；

通過聚合輸入特征X來更新最優基μ，在V次迭代之后，收斂的賦值矩陣P和最新的最優基用于重建輸入特征X；

添加了由兩個卷積層組成的輔助解碼器來預測粗類激活圖，獲取類別為C的softmax規范化的類激活圖A和深特征X₁后，通過加權平均值計算第k個初始化基；

在基初始化過程中使用由分類損失和偽掩碼分割損失構成的目標函數進行監督，對LR低秩模塊的輸出結果進行解碼和優化，根據損失對自監督低秩網絡進行更新；

其中，所述自監督低秩網絡為：

將已建立的編碼器-解碼器分段網絡擴展為共享權重的孿生神經網絡結構；

將來自某一圖像的兩個增強視圖作為輸入，編碼器網絡處理視圖并生成特征映射，該特征映射作為LR低秩模塊的輸入，重新估計特征映射后，將具有LR特性的特征分別反饋給解碼器網絡，來預測掩碼。

2.根據權利要求1所述的一種基于自監督低秩網絡的半監督圖像語義分割方法，其特征在于，所述方法包括：對兩個分支的掩碼分別進行交叉視圖掩碼正則化處理。

3.根據權利要求1所述的一種基于自監督低秩網絡的半監督圖像語義分割方法，其特征在于，所述偽掩碼為：

其中，分別為兩個視圖的幾何變換，T為逆變換，為掩碼M₁通過視圖I₁的逆幾何變換，為掩碼M₂通過視圖I₂的逆幾何變換，為優化模塊。

4.根據權利要求1所述的一種基于自監督低秩網絡的半監督圖像語義分割方法，其特征在于，所述通過聚合輸入特征X來更新最優基μ具體為：

其中，ω_n，k為x_n到μ_k的賦值權重，P_n，k為x_n到μ_k的賦值，P_m，k為x_m到μ_k的賦值，x_n為第n個特征，N為特征個數，μ_k為第k個初始化基。

5.根據權利要求1所述的一種基于自監督低秩網絡的半監督圖像語義分割方法，其特征在于，所述方法還包括：對所述LR低秩模塊引入交叉視圖正則化，用于加強兩個視圖的賦值矩陣之間的一致性。