[發明專利]基于多路割的弱監督實例分割方法

有效

• 申請號: 201910347532.5
• 申請日: 2019-04-28
• 公開（公告）號: CN110111340B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 程明明;劉云;吳宇寰
• 申請（專利權）人: 南開大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N3/04
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

一種基于多路割的弱監督實例分割方法。該方法僅使用圖像級別的標注數據來訓練用于實例分割的卷積神經網絡。具體來說，給定一個只帶有圖像級別標注的訓練集，用擬物性采樣算法對每張圖像計算出若干個類別無關的物體推薦區域；然后以圖像和對應的物體推薦區域作為輸入，以標注的圖像類別作為學習目標，通過多實例學習框架計算出每個物體推薦區域的類別概率分布和語義特征。將整個數據集中的物體推薦區域作為結點建立一個大規模的圖模型，將所述圖模型看作一個多路割問題，分割結果對每個物體推薦區域賦予一個類別標記作為結果；或作為訓練集來訓練任何的用于實例分割的卷積神經網絡。實驗表明，該方法明顯優于已有的弱監督實例分割方法。

技術領域

本發明屬于計算機視覺技術領域，特別涉及到一種基于多路割的弱監督實例分割的方法。

背景技術

實例分割致力于將一張圖象中的每個物體分別分割出來并識別物體的類別。基于商業和學術的巨大價值，實例分割是計算機視覺中的一個重要任務。最近實例分割技術的進步主要來自于一些基于卷積神經網絡的基礎模型，比如Ross Girshick在2015年ICCV會議上提出的Fast R-CNN、Shaoqing Ren等人在2015年NIPS會議上提出的Faster R-CNN、Kaiming He等人在2017年ICCV會議上提出的Mask R-CNN。但是，這些深度學習模型嚴重依賴于大量的訓練數據，這些訓練數據都是有著像素級別的物體實例標注。從像素級別標注一張圖像是很耗時的，因此收集這么多的數據是一件非常昂貴的事情。

為了降低對像素級別標注數據的需求，一些研究工作將物體標記框作為監督信息，來訓練實例分割模型。Anna Khoreva等人在2017年CVPR會議上發表的“Simple doesit:Weakly supervised instance and semantic segmentation”論文中用改進版的GrabCut算法來估計物體標記框里的物體分割，然后用MCG算法來修正這些實例分割。QizhuLi等人在2018年ECCV會議上發表的論文“Weakly-and semi-supervised panopticsegmentation”擴展了Anna Khoreva等人的方法，他們用迭代的方法來修正估計出的實例分割。具體來說，他們先用和Anna Khoreva類似的方法來獲得初始的實例分割來訓練網絡，再將網絡訓練完成后的預測結果作為新的分割估計去重新訓練網絡，如此迭代幾次，得到最終的結果。

然而，標記大量的物體框仍然很耗時耗力，需要以物體標記框作為監督信息的其他任務，比如物體檢測，都已經開始謀求弱監督學習的策略。因此，Yanzhao Zhou等人在2018年CVPR上發表的“Weakly Supervised Instance Segmentation using Class PeakResponse”論文中進一步將監督信息放寬到圖像級別的標注，即只使用帶有類別標簽的圖像作為訓練數據來訓練實例分割模型。他們提出了一個新的概念，“類響應峰值”，即在用所提供的圖片訓練圖像分類模型時，通過一定的處理使得卷積神經網絡在每個物體上有較大的響應峰值，這樣就可以得到物體的大致位置，再結合似物性采樣計算的物體推薦區域，就可以得到實例分割的結果。

發明內容

本發明目的是解決現有實例分割技術中存在的需要大量像素級別標注的訓練數據的技術問題，提供一種基于多路割的弱監督實例分割的方法。該方法僅需要提供帶有類別標注的圖片，就可以學習出一個實例分割模型。

為了實現上述目的，本發明首先設計了一種多實例學習框架，所述框架以圖像和對應的似物性采樣結果作為輸入，以圖像類別作為學習目標，訓練的模型可以為一張輸入的圖像計算每個物體推薦區域的概率分布和語義特征。基于這些概率分布和語義特征，我們構造一個多路割問題，進而為每個物體推薦區域賦予一個正確的類別標簽。

本發明提供了基于多路割的弱監督實例分割方法，包含如下步驟：