[發(fā)明專利]基于多路割的弱監(jiān)督實例分割方法

有效

• 申請?zhí)枺?/td>: 201910347532.5
• 申請日: 2019-04-28
• 公開（公告）號: CN110111340B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 程明明;劉云;吳宇寰
• 申請（專利權(quán)）人: 南開大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N3/04
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

1.一種基于多路割的弱監(jiān)督實例分割方法，其特征在于，該方法包含如下步驟：

a.給定一個包含訓練集和測試集的數(shù)據(jù)集，訓練集中每張圖像都有圖像級別的標簽，用似物性采樣的算法為數(shù)據(jù)集中的每張圖像生成可能包含有目標類別物體的物體推薦區(qū)域；

b.設(shè)計了一個基于物體推薦區(qū)域的多實例學習框架，所述多實例學習框架以圖像和對應的物體推薦區(qū)域作為輸入、以圖像的標記類別作為學習目標，設(shè)計多實例學習損失函數(shù)為每個物體推薦區(qū)域?qū)W習計算出類別概率分布和語義信息；

c.用步驟b中計算出的物體推薦區(qū)域的類別概率分布和語義信息，將整個數(shù)據(jù)集中的物體推薦區(qū)域作為結(jié)點建立一個大規(guī)模的圖模型，具體來說，將每一個物體推薦區(qū)域看作圖的一個結(jié)點，將每個目標類別看作圖的頂點，一個結(jié)點到一個頂點的邊的距離就是預測出的類別概率，兩個結(jié)點之間的邊的距離是他們的語義特征向量之間的夾角余弦值，兩個頂點之間的距離是無窮大；將所述圖模型看作一個大規(guī)模的多路割問題，分割結(jié)果對每個物體推薦區(qū)域賦予一個類別標記；

d.將步驟c中標記為背景的物體推薦區(qū)域刪除，剩下的物體推薦區(qū)域和對應的類別標記作為分割結(jié)果；或用剩下的物體推薦區(qū)域作為訓練數(shù)據(jù)來訓練任何的用于實例分割的卷積神經(jīng)網(wǎng)絡，訓練之后的網(wǎng)絡用于對圖像進行實例分割。

2.根據(jù)權(quán)利要求1所述的基于多路割的弱監(jiān)督實例分割方法，其特征在于：所述的基于物體推薦區(qū)域的多實例學習框架設(shè)計了一個卷積神經(jīng)網(wǎng)絡模型，使該模型能夠為每個物體推薦區(qū)域預測一個概率分布，以便于用圖像的類別標記作為每個物體推薦區(qū)域的監(jiān)督目標。

3.根據(jù)權(quán)利要求1所述的基于多路割的弱監(jiān)督實例分割方法，其特征在于：所述的基于物體推薦區(qū)域的多實例學習框架的損失函數(shù)由三個部分組成，即注意力損失函數(shù)、多實例學習損失函數(shù)和聚類中心損失函數(shù)，其中前兩個損失函數(shù)用來學習類別信息，聚類中心損失函數(shù)是為了學習物體推薦區(qū)域的語義特征。

4.根據(jù)權(quán)利要求3所述的基于多路割的弱監(jiān)督實例分割方法，其特征在于：所述的注意力損失函數(shù)由下式算出：

其中，|S_i|為推薦框的總數(shù)，和分別為第i張圖像中第j個推薦框被預測為類別和k'的概率，K為目標類別的總數(shù)；

多實例學習損失函數(shù)由下式計算得出：

其中Y_i′是正例類別，是負例類別，這兩個類是互斥的，為第i張圖像屬于第k'個類別的概率估計值；

聚類中心損失函數(shù)由下列兩式計算得出：

其中表示第i張圖像第j個推薦框的最大概率所對應的類別，為同一個推薦框?qū)?048維特征向量，是類別的統(tǒng)計特征向量，‖·‖₂表示向量的2-范數(shù)，|S_i|為推薦框的總數(shù)。

5.根據(jù)權(quán)利要求4所述的基于多路割的弱監(jiān)督實例分割方法，其特征在于：所述多實例學習框架的損失函數(shù)最終由注意力損失函數(shù)、多實例學習損失函數(shù)和聚類中心損失函數(shù)經(jīng)過融合后表示為：

其中α、β、γ分別為三個損失函數(shù)的權(quán)重。

6.根據(jù)權(quán)利要求1所述的基于多路割的弱監(jiān)督實例分割方法，其特征在于：所述大規(guī)模的多路割問題通過限制每個節(jié)點所連接的最大的邊數(shù)，從而將大規(guī)模的多路割問題分解成為若干個小規(guī)模的多路割問題。