[發明專利]選擇性像素親和學習的弱監督語義圖像分割方法

有效

• 申請號: 202110395752.2
• 申請日: 2021-04-13
• 公開（公告）號: CN113096138B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 張向榮;趙紫晨;焦李成;陳璞花;古晶;唐旭;馮婕
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/774;G06N3/0464;G06V10/82;G06N3/0895;G06N3/084
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種選擇性像素親和學習的弱監督語義圖像分割方法，其特征在于，利用親和關系圖，權值圖與聯合置信度圖，在權值圖與聯合置信度圖的共同監督下有選擇地訓練AffinityNet神經網絡，學習并預測像素間親和性，通過預測的像素親和性得到帶類別標簽圖像的偽掩碼；該方法的步驟包括如下：

(1)生成類別激活圖：

(1a)選取至少10000張帶有類別標簽的自然圖像組成基礎訓練集，其中每張圖像的類別標簽包含至少一個類別；

(1b)利用特征圖生成方法，得到基礎訓練集中每張圖像的特征圖；

(1c)利用類別激活圖生成方法，得到基礎訓練集中每張圖像的N₁個激活圖，其中，N₁的取值與D的取值對應相等，D表示基礎訓練集中所有圖像的類別標簽中包含的不同類別的總數；

(2)生成聯合置信度圖：

(2a)利用下述種子圖生成方法，得到基礎訓練集中每張圖像的種子圖：

第一步，利用下式，計算每張特征圖中位于(x₁,y₁)處像素點的特征向量種子值，其中，f(x₁,y₁)表示該張特征圖中位于(x₁,y₁)處所有通道特征值組成的特征向量：

其中，表示第p張特征圖中位于(x₁,y₁)處像素點的特征向量的種子值，表示第p張特征圖中位于(x₁,y₁)處像素點的特征向量的所有激活值中的最大值，κ表示第p張特征圖中位于(x₁,y₁)處像素點的特征向量的所有激活值中最大激活值對應的編號，μ的取值與D的取值對應相等；

第二步，將每張特征圖中所有位置的特征向量的種子值組成該張特征圖的大小為W_P×H_P的種子圖；

第三步，利用條件隨機場修正每張特征圖的種子圖；

(2b)利用親和關系圖生成方法，得到基礎訓練集中每張圖像的共S₁個前景關系圖、S₂個背景關系圖和S₃個邊界關系圖，其中，S₁，S₂，S₃均等于152；

所述親和關系圖生成方法的步驟如下：

第一步，為每張特征圖構建S₁個值全為0的大小為W_P×H_P的前景關系圖，將每張種子圖中每個位于(x₃,y₃)處像素點值依次與除該像素點之外其8鄰域內所有像素點值進行比較，如果兩個像素點值相同且都不等于0或μ+1，則將該張特征圖的第m個同類前景關系圖中位于(x₃,y₃)處像素點值由0設置為1；

第二步，為每張特征圖構建S₂個值全為0的大小為W_P×H_P的邊界關系圖，將每張種子圖中每個位于(x₃,y₃)處像素點值依次與除該像素點之外其8鄰域內所有像素點值進行比較，如果兩個像素點值不同且都不等于μ+1，則將該張特征圖的第n個邊界關系圖中位于(x₃,y₃)處像素點值由0設置為1；

第三步，為每張特征圖構建S₃一個值全為0的大小為W_P×H_P的背景關系圖，將每張種子圖中每個位于(x₃,y₃)處像素點值依次與除該像素點之外其8鄰域內所有像素點值進行比較，如果兩個像素點值都等于0，則將該張特征圖的第o個背景關系圖中位于(x₃,y₃)處像素點值由0設置為1；

(2c)按照下式，計算每張種子圖中每個像素點值與8鄰域內除該像素點值之外其余每個像素點值的聯合置信度：

其中，表示第i張種子圖中位于(x₃,y₃)處像素點值與8鄰域內除該像素點值之外第j個像素點值的聯合置信度，j＝1,2,...,R，R表示每張種子圖中位于(x₃,y₃)處像素點的8鄰域內除該像素點之外其余所有像素點的總數，表示基礎訓練集中第r張圖像的第c個激活圖中位于(x₂,y₂)處像素點8鄰域內除該像素點之外第k個位于(x₂,'y₂')處像素點值，(x₂,y₂)的取值與(x₃,y₃)的取值對應相等，k的取值與j的取值對應相等，c的取值與的取值對應相等，表示第i張種子圖中位于(x₃',y₃')處像素點值，(x₃',y₃')的取值與(x₂,'y₂')的取值對應相等，r的取值與i的取值對應相等，步驟(2b)中的m、n、o的取值均與j的取值對應相等；

(2d)將基礎訓練集中每張圖像的種子圖中所有聯合置信度組成該張圖像的共S₄個大小為W_P×H_P的聯合置信度圖，其中，S₄等于152；

(3)生成權值圖：

(3a)按照下式，計算基礎訓練集中每張圖像的前景權值圖：

其中，表示第p張特征圖中位于(x₁,y₁)處像素點的前景權值，表示基礎訓練集中第r張圖像的第u個前景關系圖中位于(x₄,y₄)處像素點值，(x₁,y₁)與(x₄,y₄)的取值對應相等，r的取值與p的取值對應相等；

(3b)按照下式，計算每張特征圖的邊界權值圖：

其中，表示第p張特征圖中位于(x₁,y₁)處像素點的邊界權值，表示基礎訓練集中第r張圖像的第w個邊界關系圖中位于(x₅,y₅)處像素點值，(x₁,y₁)與(x₅,y₅)的取值對應相等，r的取值與p的取值對應相等；

(4)在權值圖與聯合置信度圖的共同監督下有選擇地訓練AffinityNet神經網絡，學習像素間親和性：

(4a)將基礎訓練集中的所有圖像每批8張分批輸入到AffinityNet神經網絡中，輸出每張圖像的有B_q個通道的大小為W_P×H_P的特征圖；

(4b)將每張特征圖中每個像素點的所有通道值組成該像素點的特征向量；

(4c)按照下式，計算每個像素點與其8鄰域內除該像素點之外兩兩像素點中間特征向量的親和性：

其中，表示第q張特征圖中第d個像素點與其8鄰域內除該像素點之外的第e個像素點中間特征向量的親和性，g^q(d)表示第q張特征圖的第d個像素點的特征向量，表示第q張特征圖中第d個像素點8鄰域內除該像素點之外的第e個像素點的特征向量；

(4d)將每張特征圖中所有兩兩特征向量的親和性組成該張特征圖的N₅個親和性圖，N₅的取值與D的取值對應相等；

(4e)設定網絡的損失函數為：L＝L_bg+L_fg+2×L_neg，L表示網絡的損失函數，L_bg表示背景損失函數，L_fg表示前景損失函數，L_neg表示邊界損失函數；

(4f)利用隨機梯度下降法,迭代更新網絡的參數直至網絡的損失函數收斂時為止，得到訓練好的用于生成親和矩陣的網絡；

(5)預測基礎訓練集中每張圖像中像素間親和性：

將基礎訓練集中的每張圖像依次輸入到訓練好的用于生成親和矩陣的網絡中，通過網絡預測每張圖像中像素間親和性，輸出每張圖像的親和矩陣；

(6)生成基礎訓練集中每張圖像的偽掩碼：

將基礎訓練集中的每張圖像依次輸入到訓練好的用于生成親和矩陣的網絡中，輸出每張圖像的親和矩陣，利用該親和矩陣，在每張激活圖中執行隨機游走，得到基礎訓練集中每張圖像的偽掩碼；

(7)訓練用于生成掩碼的網絡：

將基礎訓練集中的所有圖像每批8張分批輸入到DeeplabV2網絡中，輸出每張圖像的掩碼，計算每張掩碼與其對應的偽掩碼的交叉熵損失函數值，利用隨機梯度下降法迭代更新網絡的參數直至交叉熵損失函數收斂時為止，得到訓練好的用于生成弱監督語義圖像分割掩碼的網絡；

(8)對待分割圖像的弱監督語義進行分割：

將待分割圖像輸入到訓練好的用于生成弱監督語義圖像分割掩碼的網絡中，輸出該張圖像的弱監督語義圖像分割掩碼。