[發明專利]基于多路割的弱監督實例分割方法

有效

• 申請號: 201910347532.5
• 申請日: 2019-04-28
• 公開（公告）號: CN110111340B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 程明明;劉云;吳宇寰
• 申請（專利權）人: 南開大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N3/04
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

1.一種基于多路割的弱監督實例分割方法，其特征在于，該方法包含如下步驟：

a.給定一個包含訓練集和測試集的數據集，訓練集中每張圖像都有圖像級別的標簽，用似物性采樣的算法為數據集中的每張圖像生成可能包含有目標類別物體的物體推薦區域；

b.設計了一個基于物體推薦區域的多實例學習框架，所述多實例學習框架以圖像和對應的物體推薦區域作為輸入、以圖像的標記類別作為學習目標，設計多實例學習損失函數為每個物體推薦區域學習計算出類別概率分布和語義信息；

c.用步驟b中計算出的物體推薦區域的類別概率分布和語義信息，將整個數據集中的物體推薦區域作為結點建立一個大規模的圖模型，具體來說，將每一個物體推薦區域看作圖的一個結點，將每個目標類別看作圖的頂點，一個結點到一個頂點的邊的距離就是預測出的類別概率，兩個結點之間的邊的距離是他們的語義特征向量之間的夾角余弦值，兩個頂點之間的距離是無窮大；將所述圖模型看作一個大規模的多路割問題，分割結果對每個物體推薦區域賦予一個類別標記；

d.將步驟c中標記為背景的物體推薦區域刪除，剩下的物體推薦區域和對應的類別標記作為分割結果；或用剩下的物體推薦區域作為訓練數據來訓練任何的用于實例分割的卷積神經網絡，訓練之后的網絡用于對圖像進行實例分割。

2.根據權利要求1所述的基于多路割的弱監督實例分割方法，其特征在于：所述的基于物體推薦區域的多實例學習框架設計了一個卷積神經網絡模型，使該模型能夠為每個物體推薦區域預測一個概率分布，以便于用圖像的類別標記作為每個物體推薦區域的監督目標。

3.根據權利要求1所述的基于多路割的弱監督實例分割方法，其特征在于：所述的基于物體推薦區域的多實例學習框架的損失函數由三個部分組成，即注意力損失函數、多實例學習損失函數和聚類中心損失函數，其中前兩個損失函數用來學習類別信息，聚類中心損失函數是為了學習物體推薦區域的語義特征。

4.根據權利要求3所述的基于多路割的弱監督實例分割方法，其特征在于：所述的注意力損失函數由下式算出：

其中，|S_i|為推薦框的總數，和分別為第i張圖像中第j個推薦框被預測為類別和k'的概率，K為目標類別的總數；

多實例學習損失函數由下式計算得出：

其中Y_i′是正例類別，是負例類別，這兩個類是互斥的，為第i張圖像屬于第k'個類別的概率估計值；

聚類中心損失函數由下列兩式計算得出：

其中表示第i張圖像第j個推薦框的最大概率所對應的類別，為同一個推薦框對應的2048維特征向量，是類別的統計特征向量，‖·‖₂表示向量的2-范數，|S_i|為推薦框的總數。

5.根據權利要求4所述的基于多路割的弱監督實例分割方法，其特征在于：所述多實例學習框架的損失函數最終由注意力損失函數、多實例學習損失函數和聚類中心損失函數經過融合后表示為：

其中α、β、γ分別為三個損失函數的權重。

6.根據權利要求1所述的基于多路割的弱監督實例分割方法，其特征在于：所述大規模的多路割問題通過限制每個節點所連接的最大的邊數，從而將大規模的多路割問題分解成為若干個小規模的多路割問題。