[發明專利]基于逐步對抗學習的半監督圖像實例分割方法

有效

• 申請號: 201910168475.4
• 申請日: 2019-03-06
• 公開（公告）號: CN109949317B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 馬家樂;錢堃;劉睿;段彥卉;景星爍
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

1.基于逐步對抗學習的半監督圖像實例分割方法，其特征在于，包括如下步驟：

(1)采集多幅待分割圖像樣本，對其中部分圖像進行標注，得到標注數據集{X_l，Y_l}，其中X_l表示圖像集合，Y_l表示掩碼標注集合；未標注的樣本構成未標注數據集X_u；

構建實例分割模型，所述實例分割模型為Mask R-CNN，其主干網絡為特征金字塔網絡FPN；所述Mask R-CNN還包括區域生成網絡、RolAlign、反卷積網絡；所述FPN對輸入圖像進行特征提取并生成特征圖，特征圖輸入到區域生成網絡中，RolAlign對特征圖以及區域生成網絡的輸出進行處理，處理結果輸入到反卷積網絡生成預測的掩碼；

(2)對實例分割模型中的FPN進行訓練：構建深度卷積生成對抗網絡，Mask R-CNN中的FPN與真偽二分類器依次連接作為所述深度卷積生成對抗網絡的判別器；將采集的圖像樣本集X_l∪X_u作為真實數據樣本輸入判別器，對深度卷積生成對抗網絡進行訓練，確定生成器和判別器的參數；

(3)對實例分割模型進行初步訓練：保持步驟(2)中訓練后FPN的參數不變，以標注數據集{X_l，Y_l}作為樣本，訓練所述實例分割模型，優化Mask R-CNN其他模塊的參數，得到能夠生成粗分割掩碼的實例分割模型；

(4)構建對抗學習網絡，所述對抗學習網絡包括實例分割模型、編碼模塊和判別卷積網絡；所述實例分割模型對輸入圖像進行掩碼預測，并生成類別置信圖；編碼模塊對類別置信圖和標注數據的掩碼進行編碼，編碼后的數據作為判別卷積網絡的輸入，判別卷積網絡對輸入的編碼數據進行判別，生成分割表現置信圖，對實例分割模型的分割結果進行判斷；

以圖像樣本集X_l∪X_u作為輸入，對實例分割模型和判別卷積網絡進行交替迭代訓練，優化實例分割模型和判別卷積網絡的參數；

(5)對實例分割模型進行再訓練：以未標注數據集X_u作為對抗學習網絡的輸入，實例分割模型對輸入圖像進行掩碼預測生成類別置信圖，編碼模塊對類別置信圖編碼，編碼后的數據經過判別卷積網絡生成分割表現置信圖，對分割表現置信圖中置信度高于閾值T_semi的區域反饋到實例分割模型中，對實例分割模型進行再訓練；T_semi為預設的判別閾值；

(6)將待分割的圖像輸入到步驟(5)訓練后的實例分割模型，得到預測掩碼即為分割結果；

步驟(4)中對實例分割模型和判別卷積網絡進行交替迭代訓練的目標函數為：

其中λ是平衡兩部分損失的系數，x₁表示標注數據，y₁表示標注的掩碼真值，x_u表示未標注數據，p_data表示數據分布，(i，j)表示判別卷積網絡輸出的分割表現置信圖的像素位置，S表示實例分割模型，D_CNN表示判別卷積網絡，表示數學期望；

交替迭代訓練過程中，訓練實例分割模型的時候，保持判別卷積網絡的參數不變；訓練訓練判別卷積網絡的時候，保持實例分割模型的參數不變，如此交替迭代，實例分割模型和判別卷積網絡都訓練固定的步驟，直至收斂。

2.根據權利要求1所述的基于逐步對抗學習的半監督圖像實例分割方法，其特征在于，所述深度卷積生成對抗網絡的生成器采用轉置卷積網絡。

3.根據權利要求1所述的基于逐步對抗學習的半監督圖像實例分割方法，其特征在于，所述深度卷積生成對抗網絡的損失函數為：

其中G表示生成器，D表示判別器，z表示生成器的輸入噪聲變量，p_data表示真實數據X_l∪X_u的分布，D(x)表示判別器的輸出，G(z)表示生成器的輸出，表示在真實數據上的數學期望，表示在噪聲數據上的數學期望。