[發明專利]基于深度學習的弱監督顯著性物體檢測的方法及系統

有效

• 申請號: 201810036348.4
• 申請日: 2018-01-15
• 公開（公告）號: CN108399406B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 李冠彬;林倞;謝圓;成慧
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06K9/62;G06N3/04
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于深度學習的弱監督顯著性物體檢測方法，包括如下步驟：

步驟S1，利用非監督的顯著性檢測方法通過多任務的全卷積神經網絡產生所有訓練圖像的顯著圖S_anno；

步驟S2，將所述顯著圖與對應的圖像級別的類別標簽同時作為初次迭代的有噪聲的監督信息，以訓練多任務的全卷積神經網絡，于訓練過程收斂后，生成新的類別激活圖S_cam和顯著性物體預測圖S_predict；

步驟S3，利用條件隨機場模型調整所述類別激活圖和顯著性物體預測圖；

步驟S4，利用標簽更新策略為下一次迭代更新顯著性標注信息；

步驟S5，多次迭代式地進行步驟S2-S4的訓練過程，直到符合停止的條件；

步驟S6，在含有未知類別圖像的數據集上進行泛化式訓練，得到最終模型；

于步驟S1中，選擇含有圖像類別信息的數據集訓練數據，并選取一個非監督的顯著性檢測方法，通過所述多任務的全卷積神經網絡為所有訓練樣本生成像素級別的顯著圖；

選取任一深度神經網絡模型作為全卷積神經網絡的預訓練模型，將該深度神經網絡模型最后的線性分類層替換為一個線性卷積層，去掉該網絡中最后兩個下采樣層，并使用擴張卷積算法在最后兩層的卷積層提高擴張率；

步驟S2進一步包括：

以步驟S1產生的顯著圖和對應的人工標注的類別信息分別作為顯著性圖偽標簽和類別標簽，訓練所述多任務的全卷積神經網絡；

于訓練過程收斂后，利用訓練好的全卷積神經網絡生成新的顯著性物體預測圖，并使用所述多任務的全卷積神經網絡結合類別激活映射技術生成類別激活圖。

2.如權利要求1所述的一種基于深度學習的弱監督顯著性物體檢測方法，其特征在于：于所述多任務的全卷積神經網絡中，將所述全卷積神經網絡復制3次，每一個子網絡對應一個尺度下的圖像輸入，3個網絡共享權值，3個網絡的輸出用線性差值的方法縮放到圖像的原始大小，進行像素層面的相加處理后輸入softmax層產生最終的概率圖。

3.如權利要求1所述的一種基于深度學習的弱監督顯著性物體檢測方法，其特征在于：將所述多任務的全卷積神經網絡的3個尺度下的特征圖連接起來后，經過一個全局平均池化層，得到進一步處理后的特征，再輸入一個全連接層，從而獲得類別分布輸出。

4.如權利要求1所述的一種基于深度學習的弱監督顯著性物體檢測方法，其特征在于：于步驟S3中，利用條件隨機場模型，處理步驟S1產生的顯著圖S_anno，以調整步驟S2產生的類別激活圖S_cam和顯著圖S_predict，生成更具有空間協同關系和更強保邊性的預測圖，記為C_anno，C_cam，C_predict。

5.如權利要求4所述的一種基于深度學習的弱監督顯著性物體檢測方法，其特征在于：于步驟S4中，所述標簽更新策略利用類別激活圖進行指導和合適的閾值判定生成新的顯著圖偽標簽。

6.如權利要求5所述的一種基于深度學習的弱監督顯著性物體檢測方法，其特征在于，所述標簽更新策略具體如下：

如果MAE(C_anno,C_predict)≤α，則

否則如果MAE(C_anno,C_cam)β且MAE(C_predict,C_cam)β，則在下次迭代訓練時去掉這個訓練樣本；

否則如果MAE(C_anno,C_cam)≤MAE(C_predict,C_cam)，則

否則S_update＝C_predict

其中MAE為平均錯誤率，CRF為條件隨機場算法，α、β為預設閾值。