[發明專利]選擇性像素親和學習的弱監督語義圖像分割方法

有效

• 申請號: 202110395752.2
• 申請日: 2021-04-13
• 公開（公告）號: CN113096138B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 張向榮;趙紫晨;焦李成;陳璞花;古晶;唐旭;馮婕
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/774;G06N3/0464;G06V10/82;G06N3/0895;G06N3/084
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明提出一種選擇性像素親和學習的弱監督語義圖像分割方法，旨在通過對像素點間相關關系有選擇地學習，更加準確預測對象邊界以及區域連通處的像素點相關關系，改善對象邊界與區域內部的分割效果。實現步驟為：首先，生成類別激活圖，生成聯合置信度圖，生成權值圖，在權值圖與聯合置信度圖的共同監督下有選擇地訓練AffinityNet神經網絡，學習并預測像素間親和性，生成基礎訓練集中每張圖像的偽掩碼，最后，訓練用于生成掩碼的網絡，對待分割圖像的弱監督語義進行分割。本發明能夠改善圖像中對象邊界與區域連通處的分割結果，提升分割效果。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及圖像分割技術領域中的選擇性像素親和學習的弱監督語義圖像分割方法。本發明可用于對自然圖像進行弱監督語義圖像分割，得到具有物體類別的分割圖。

背景技術

自然圖像語義分割是圖像處理中極具挑戰性的一個任務，它的目的是為每個像素分配不同的類別，在場景理解和自動駕駛等領域有著廣泛的應用。近年來隨著深度神經網絡的發展，全監督的語義分割任務取得了重大進展。然而，全監督的語義分割任務需要耗費大量的時間標注標簽，這無疑是非常昂貴的。為了減輕對像素級標注的嚴重依賴，使用邊界框、關鍵點以及圖像級標簽的弱監督學習方法在語義分割任務中被采用。由于圖像級標簽獲取成本低于其他標簽，有時標簽甚至可以直接從互聯網、物聯網中得到，因此工程實踐中更多采用圖像級標簽的弱監督方法。之前的圖像級弱監督語義圖像分割方法首先通過訓練分類網絡并通過分類網絡生成類別激活圖，并將它作為初始的類別分割區域“種子”，然后利用種子的分割結果訓練一個常規的全監督語義分割網絡，得到最終的弱監督語義圖像分割結果。然而，種子通常只在具有類別判別力的區域獲得較高的響應，并不能準確包含物體的整個區域，導致分割效果并不理想。

JiwoonAhn等人在其發表的論文“Learning?Pixel-Level?Semantic?AffinityWith?Image-Level?Supervision?for?Weakly?Supervised?Semantic?Segmentation”(IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition，2018年)中提出了一種利用深度卷積神經網絡學習像素點對親和關系的弱監督語義圖像分割方法。該方法的步驟是：首先，訓練一個分類網絡，并利用訓練好的分類網絡生成類別激活圖，再利用生成的類別激活圖制作像素點對親和關系的標簽，其次，利用像素點對親和關系標簽建立一個預測像素點間親和關系的深度神經網絡，對該網絡設置了交叉熵損失函數。之后利用預測到的像素點間親和關系作為隨機游走的轉移概率，使用隨機游走將類激活圖的激活得分傳播到同一語義實體的附近區域，顯著提高了類別激活圖的質量，細化了分割偽掩碼，最后，再利用生成的分割偽掩碼訓練一個常規的全監督語義分割網絡，利用訓練好的分割網絡得到物體最終的分割結果。雖然該方法通過預測像素點對間的親和關系，在一定程度上細化了類激活圖生成的“種子”，但是，該方法仍然存在的不足之處是，僅僅簡單的對像素間親和關系進行建模，并沒有較多的關注物體邊界與區域內部的關鍵位置像素，導致在對自然圖像的物體邊界與區域內部位置進行弱監督語義圖像分割結果較差。