[發明專利]一種針對語義分割模型的上下文不敏感的訓練方法

有效

• 申請號: 201910858848.0
• 申請日: 2019-09-11
• 公開（公告）號: CN110807462B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 陳怡峰;李頌元;李璽
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種針對語義分割模型的上下文不敏感的訓練方法，其特征在于，包括以下步驟：

S1.獲取用于訓練語義分割的多組圖像數據集，并定義算法目標；

S2.使用基于全卷積網絡結構的模型在該數據集上進行學習；

S3.使用類擦去樣本生成器產生新的訓練樣本；

S4.使用S2得到的網絡參數，在原始數據集和S3生成的新樣本上結合一致性損失約束進行模型優化，得到對上下文不敏感的模型；

步驟S1中，對于所述的用于語義分割的多個圖像數據集中的一幅圖片I，定義算法目標為：檢測圖片I內的每個像素所屬的語義類別；

步驟S2中，使用基于全卷積網絡結構的模型在該數據集上進行學習具體包括：

S21.基于全卷積的網絡結構的模型φ對輸出圖片I提取特征；

S22.使用1×1卷積，對提取的特征進行語義類別的預測；

S23.使用交叉熵損失，根據預測類別和原始標簽L來優化模型φ，其中原始標簽L中含有圖片I中各像素所屬的真實語義類別；

步驟S3中，所述的類擦去樣本生成器用于生成部分類別被擦去的圖片和標簽作為訓練數據來訓練模型，其參數包含照片填充單元i_e，標簽填充單元c_e和最大擦去的類別數目m，其輸入為原始圖片I和原始標簽L；類擦去樣本生成器中生成新的三元組訓練樣本{I′,L′,M}的方法如下：

S31.在標簽L中統計其包含的類別，記為集合K；

S32.設置r為參數m和集合K的勢的較小值；

S33.在集合K中隨機選取r類組成擦除類集合K_e；

S34.令I′為一個初始值與I一樣的數組，對I′的每個位置，若L中對應位置的標簽屬于K_e，則將該位置的值置為i_e；

S35.令L′為一個初始值與L一樣的數組，對L′的每個位置，若L中對應位置的標簽屬于K_e，則將該位置的值置為c_e；

S36.令M是一個與L相同長寬的全零數組，對其每個位置，若L中對應位置的標簽屬于K_e，則置為1；

步驟S4中，所述的一致性損失約束為一個結合類擦去樣本生成器使用的損失約束；對于原始圖片I和經過類擦除的圖片I′，一致性損失約束要求模型φ在未被擦去的位置，即M值等于0處，提取的特征盡可能地相似；一致性損失約束L_c形式為：

用于監督模型訓練的損失L由三項組成：

L＝L_ce(φ(I′),L′)+αL_ce(φ(I),L)+βL_c

其中L_ce(φ(I),L)是輸入I時的模型預測類別與標簽L的交叉熵損失，L_ce(φ(I′),L′)是輸入I′時的模型預測類別與標簽L′的交叉熵損失；α和β為權重系數；在計算L_ce(φ(I′),L′)時，對應位置為標簽填充單元c_e的損失被忽略，且模型φ對于輸入需先做一個減去照片填充單元i_e的歸一化操作，使被填充i_e的位置實際在神經元連接處的值為0。