[發明專利]語義分割網絡訓練和圖像語義分割方法、裝置及設備

在審

• 申請號: 202110771852.0
• 申請日: 2021-07-08
• 公開（公告）號: CN113420827A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 楊昀欣;萬建偉;賀凱;孫科;余非;裴衛民;馮文亮
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T7/11;G06T7/136
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 趙迎迎

1.一種語義分割網絡訓練方法，其特征在于，包括：

將樣本圖像輸入至分類網絡進行特征提取，并根據提取到的分類樣本特征圖，確定所述樣本圖像中的種子區域；

將樣本圖像輸入至分割網絡進行特征提取，并根據提取到的分割樣本特征圖和所述樣本圖像對應的標簽，確定分割網絡輸出的初始分割結果；

以所述種子區域作為監督信息，基于所述初始分割結果，采用種子區域生長模型和條件隨機場模型，對分割網絡進行訓練，得到訓練完畢的語義分割網絡。

2.根據權利要求1所述的方法，其特征在于，所述分類網絡中包含多個卷積層、金字塔池化層、全連接層以及激活函數；

在將樣本圖像輸入至分類網絡進行特征提取之前，還包括：

通過多個卷積層對樣本圖像進行特征提取，得到分類樣本特征圖；

通過金字塔池化層對所述分類樣本特征圖進行不同尺度下的特征融合，得到所述樣本圖像對應的樣本特征向量；

通過全連接層和激活函數，對所述樣本特征向量進行處理，得到樣本圖像的分類結果；

基于所述分類結果與樣本圖像的標簽構建分類損失函數，并基于所述分類損失函數，對所述分類網絡進行訓練。

3.根據權利要求1所述的方法，其特征在于，將樣本圖像輸入至分類網絡進行特征提取，并根據提取到的分類樣本特征圖，確定所述樣本圖像中的種子區域，包括：

將樣本圖像輸入至分類網絡進行特征提取，得分類樣本特征圖；

針對所述分類樣本特征圖，采用弱定位方法，生成特征熱力圖；

根據熱力圖分割閾值，對所述特征熱力圖進行分割，根據分割結果，確定所述樣本圖像中的種子區域。

4.根據權利要求1所述的方法，其特征在于，所述分割網絡包括多個卷積層、池化層和Nonlocal模塊；所述Nonlocal模塊置于設定層數的卷積層之后；

將樣本圖像輸入至分割網絡進行特征提取，并根據提取到的分割樣本特征圖和所述樣本圖像對應的標簽，確定分割網絡輸出的初始分割結果，包括：

將樣本圖像輸入至分割網絡，由分割網絡中的多個卷積層和Nonlocal模塊對樣本圖像進行特征提取，得到分割樣本特征圖；

確定所述樣本圖像對應標簽的多熱向量；

計算分割樣本特征圖和所述多熱向量的張量積，得到初始分割結果。

5.根據權利要求1所述的方法，其特征在于，以所述種子區域作為監督信息，基于所述初始分割結果，采用種子區域生長模型和條件隨機場模型，對分割網絡進行訓練，包括：

根據所述初始分割結果中各像素點屬于設定類別的概率，構建區域生長損失函數；

根據所述初始分割結果中各像素點屬于設定類別的概率，以及各像素點針對設定類別的條件隨機場的輸出，構建條件隨機場損失函數；

根據所述區域生長損失函數和條件隨機場損失函數，確定分割網絡損失函數；

根據所述分割網絡損失函數，利用梯度下降法，對分割網絡進行訓練。

6.根據權利要求3所述的方法，其特征在于，在根據熱力圖分割閾值，對所述特征熱力圖進行分割，根據分割結果，確定所述樣本圖像中的種子區域之前，還包括：

根據預先設定的初始分割閾值，對所述特征熱力圖進行分割；

通過對分割結果與樣本圖像的語義分割結果計算交并比，確定熱力圖分割閾值。

7.一種圖像語義分割方法，其特征在于，包括：

將待分割圖像作為語義分割網絡的輸入，所述語義分割網絡預先采用如權利要求1-6所述的方法進行訓練；

根據所述語義分割網絡的輸出結果，確定所述待分割圖像的分割結果。