[發明專利]基于深度學習的弱監督顯著性物體檢測的方法及系統

有效

• 申請號: 201810036348.4
• 申請日: 2018-01-15
• 公開（公告）號: CN108399406B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 李冠彬;林倞;謝圓;成慧
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06K9/62;G06N3/04
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明公開了一種基于深度學習的弱監督顯著性物體檢測的方法及系統，該方法包括：利用非監督的顯著性檢測方法產生所有訓練圖像的顯著圖；將顯著圖與對應的圖像級別的類別標簽作為初次迭代的有噪聲的監督信息，以訓練多任務的全卷積神經網絡，訓練過程收斂后，生成新的類別激活圖和顯著性物體預測圖；利用條件隨機場模型調整類別激活圖和顯著性物體預測圖；利用標簽更新策略為下一次迭代更新顯著性標注信息；多次迭代進行訓練過程直到符合停止的條件；在含有未知類別圖像的數據集上進行泛化式訓練，得到最終模型，本發明在優化過程中自動清除噪聲信息，只使用圖像級別的標注信息就能達到良好的預測效果，避免了冗繁耗時的像素級別的人工標注過程。

技術領域

本發明涉及基于深度學習的計算機視覺領域，特別是涉及一種基于深度學習的弱監督顯著性物體檢測的方法及系統。

背景技術

顯著性物體檢測是指在圖像中準確地定位出最吸引人類視覺注意力的區域。近年來由于這種技術能在眾多不同的視覺技術中得到運用，激發了大量計算機視覺和認知科學的研究工作。

近幾年，卷積神經網絡的成功運用為顯著性檢測技術帶來了重大突破，如G.Li等人在2015年的研究工作“Visual saliency based on multiscale deep features”(IEEEConference on Computer Vision and Pattern Recognition(CVPR),June 2015)，和N.Liu等人在2016年的研究工作“Deep hierarchical saliency network for salientobject detection”(In Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，pages 678–686,2016)。然而，這些基于深度學習理論的利用卷積神經網絡進行建模的方法，保證性能的前提都是需要有足量且質量高的像素級別的標注信息來作為訓練樣本。但是，對于顯著性檢測來說，進行像素級別的標注十分吃力，即使是對于經驗豐富的標注人員，也需要幾分鐘時間才能標出一張圖。此外，由于顯著性的定義比較主觀，為了保證訓練質量，在完成人工標注階段的工作之后，還需對標注信息進行進一步刪選，去除有爭議性的標注，整個標注工作需要耗費很多人工和時間，從而限制了像素級別訓練數據的數據總量，這種限制也進一步成為全監督方法提高性能的瓶頸。

另一方面，這一領域也存在海量的非監督的方法，如較早期的Y.Wei,F.Wen,W.Zhu,and J.Sun的工作“Geodesic saliency using background priors”(In Europeanconference on computer vision,pages 29–42.Springer,2012),和近年M.-M.Cheng等人的研究Global contrast based salient region detection.(IEEE Transactions onPattern Analysis and Machine Intelligence,37(3):569–582,2015)。這些方法通常基于某種低級別的特征進行預測，如顏色，位置，背景先驗信息等，導致了這類方法總是在特定類別的圖像上比較適用，但是無法對所有圖像進行很好的預測，這些基于低級別特征的方法有共同的缺點，即檢測的錯誤大多源于缺乏空間相關性和圖像語義的考慮。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種基于深度學習的弱監督顯著性物體檢測方法及系統，有效地結合了有監督和無監督的顯著性檢測方法，在優化過程中可以自動清除噪聲信息，只使用圖像級別的標注信息就能達到良好的預測效果，從而避免了冗繁耗時的像素級別的人工標注過程。

為達上述及其它目的，本發明提出一種基于深度學習的弱監督顯著性物體檢測方法，包括如下步驟：

步驟S1，利用非監督的顯著性檢測方法通過多任務的全卷積神經網絡產生所有訓練圖像的顯著圖S_anno；