[發明專利]一種針對語義分割模型的上下文不敏感的訓練方法

有效

• 申請號: 201910858848.0
• 申請日: 2019-09-11
• 公開（公告）號: CN110807462B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 陳怡峰;李頌元;李璽
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發明公開了一種針對語義分割模型的上下文不敏感的訓練方法，用于對視頻的語義分割算法進行大幅加速。具體包括如下步驟：1)獲取用于訓練語義分割的多組圖像數據集，并定義算法目標；2)使用基于全卷積網絡結構的模型在該數據集上進行學習；3)使用類擦去樣本生成器產生新的訓練樣本；4)使用步驟2)得到的網絡參數，在原始數據集和步驟3)生成的新樣本上結合一致性約束進行優化，得到對上下文不敏感的模型。本發明挖掘語義分割的場景理解能力，所訓練的模型在數據擦除、數據干擾和風格遷移等條件下具有更好的泛化能力。

技術領域

本發明屬于計算機視覺領域，特別地涉及一種針對語義分割模型的上下文不敏感的訓練方法。

背景技術

語義分割是將圖像中的每個像素點都劃分到一個語義標簽的計算機視覺任務。目前業界領先的語義分割技術都是基于全卷積神經網絡(FCN)的變體，這些技術方法大多利用上下文信息來獲得更好的分割結果。例如PSPNet在FCN的基礎上加入全局金字塔池化技術以增加上下文信息。DeepLab系列算法嘗試了多種不同的帶孔卷積架構以獲取多尺度的上下文信息。其結果是，當前的語義分割技術對上下文信息十分敏感。

然而，這種對上下文敏感的策略會導致模型泛化能力不強，并且不能真正讓模型對場景的理解具有類人的能力。對上下文敏感的模型實際上學習的是訓練數據集上的語義標記的一種聯合概率分布，一旦遇到模型不熟悉的場景，模型的性能將大幅下降。同時，人類在理解某個像素的語義類別時，很大程度上不受周圍的像素的語義類別的影響。為獲得更好的場景理解能力，我們就需要一種對上下文不敏感的語義分割方法。

發明內容

為解決上述問題，本發明的目的在于提供一種針對語義分割模型的上下文不敏感的訓練方法。該方法可以用于訓練基于深度學習的語義分割模型。這一方法包含兩個子模塊，分別是類擦去樣本生成器和一致性損失約束。類擦去樣本生成器可以幫助模型解耦語義類別間的認知關系。而一致性損失約束可以幫助模型提取到上下文不敏感的特征。在此框架下訓練的模型，相較原始模型具有上下文不敏感的特點，進而有更強的泛化能力。

為實現上述目的，本發明的技術方案為：

一種針對語義分割模型的上下文不敏感的訓練方法，其包括以下步驟：

S1.獲取用于訓練語義分割的多組圖像數據集，并定義算法目標；

S2.使用基于全卷積網絡結構的模型在該數據集上進行學習；

S3.使用類擦去樣本生成器產生新的訓練樣本；

S4.使用S2得到的網絡參數，在原始數據集和S3生成的新樣本上結合一致性損失約束進行模型優化，得到對上下文不敏感的模型。

基于上述方案，各步驟可以通過如下方式實現：

步驟S1中，對于所述的用于語義分割的多個圖像數據集中的一幅圖片I，定義算法目標為：檢測圖片I內的每個像素所屬的語義類別。

步驟S2中，使用基于全卷積網絡結構的模型在該數據集上進行學習具體包括：

S21.基于全卷積的網絡結構的模型φ對輸出圖片I提取特征；

S22.使用1×1卷積，對提取的特征進行語義類別的預測；

S23.使用交叉熵損失，根據預測類別和原始標簽L來優化模型φ，其中原始標簽L中含有圖片I中各像素所屬的真實語義類別。

步驟S3中，所述的類擦去樣本生成器用于生成部分類別被擦去的圖片和標簽作為訓練數據來訓練模型，其參數包含照片填充單元i_e，標簽填充單元c_e和最大擦去的類別數目m，其輸入為原始圖片I和原始標簽L；類擦去樣本生成器中生成新的三元組訓練樣本{I′,L′,M}的方法如下：

S31.在標簽L中統計其包含的類別，記為集合K；