[發明專利]一種基于深度學習的鹽體語義分割方法及語義分割系統

有效

• 申請號: 201910998936.0
• 申請日: 2019-10-18
• 公開（公告）號: CN110930409B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 許林峰;郭江濤;丁濟生;孟凡滿;吳慶波;李宏亮
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/13;G06N3/04
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 梁偉東

1.一種基于深度學習的鹽體語義分割方法，其特征在于：方法為：

構建基于深度學習的鹽體語義分割模型，鹽體語義分割模型包括：預處理模型、分類監督模塊、特征重校正模塊、特征融合模塊、鹽體分割分支模塊、整體分割分支模塊、邊緣預測模塊、上采樣層，在鹽體語義分割模型中：預處理模型對圖像進行預處理得到不同尺度的特征圖，不同尺度的特征圖分別依次經過特征重校正模塊，然后分別輸入對應的上采樣層，再輸入特征融合模塊將每級尺度對應上采樣的特征圖與上一級尺度對應上采樣的特征圖級聯，最后再分別輸入特征重校正模塊，將得到結果中最末一級尺度的特征圖分別輸入鹽體分割分支模塊、整體分割分支模塊、邊緣預測模塊，其中分類監督模塊對整個過程中每個模塊輸出特征圖進行監督預測是否有鹽；

選擇鹽體圖像的訓練數據集，輸入構建的鹽體語義分割模型，并對鹽體語義分割模型進行訓練，模型訓練過程中將鹽體分割分支模塊、整體分割分支模塊、邊緣預測模塊和分類監督模塊的損失進行混合作為總損失，根據總損失進行模型參數更新；

輸入待分析鹽體圖像到訓練好的鹽體語義分割模型，輸出預測的語義分割結果；

所述特征重校正模塊為結合空間特征重校正模塊與通道特征重校正模塊的網絡模塊；

所述邊緣預測模塊包括拉普拉斯算子卷積層、tanh激活層以及ReLU激活層，輸出為邊緣預測特征圖，公式為Δf＝relu(tanh(conv(f,K_laplace))),其中，Δf表示邊緣預測特征圖，f表示特征圖，K_laplace表示拉普拉斯算子的卷積核，conv()表示拉普拉斯算子卷積層去卷積特征圖，tanh()表示tanh激活層處理得到的特征圖，relu()表示ReLU激活層處理得到的特征圖；

對所述鹽體語義分割模型進行模型訓練的具體步驟為：

對訓練數據集中的圖像進行數據預處理，將圖像剪裁為固定尺寸；

對預處理后的訓練數據集數據通過上下翻轉、縮放和旋轉的方式進行擴增，并加載預訓練好的ImageNet圖像分類模型，對整個鹽體語義分割模型進行初始化；

將擴增后的訓練數據集輸入鹽體語義分割模型，記訓練過程中模型整體分割分支預測的語義分割結果與標注圖像的lovasz_hingeLoss為loss_final，鹽體分割分支預測的語義分割結果與標注圖像的lovasz_hingeLoss為loss_{no_empty}，分類監督模塊預測的圖片結果與圖片標簽的交叉熵損失為loss_class，邊緣預測模塊預測的邊緣結果與標注圖像提取的邊緣的交叉熵損失為loss_B，則訓練過程中的總損失誤差記為loss_total＝loss_final+0.5*loss_{no_empty}+0.05*loss_class1+0.5*loss_B，根據總損失誤差loss_total使用隨機梯度下降算法進行誤差反向傳播，用循環學習率策略，更新模型參數，得到訓練好的鹽體語義分割模型。

2.根據權利要求1所述的一種基于深度學習的鹽體語義分割方法，其特征在于：所述預處理模型為ResNet34，包括1個Convolution層、一個maxpool層、4個殘差連接塊，其中第一個殘差連接塊包含3個殘差塊，有6個3×3的卷積層，第二個殘差連接塊包含4個殘差塊，有8個3×3的卷積層，第三個殘差連接塊包含6個殘差塊，有12個3×3的卷積層，第四個殘差連接塊包含3個殘差塊，有6個3×3的卷積層，每個殘差連接塊都采用殘差連接，預處理模型輸出的特征圖分別為特征圖DN_1、特征圖DN_2、特征圖DN_3和特征圖DN_4。

3.根據權利要求1所述的一種基于深度學習的鹽體語義分割方法，其特征在于：所述分類監督模塊包括：1個1×1的卷積、1個全局池化層和1個全連接層，分類監督模塊對圖片進行判別為有鹽還是無鹽。

4.根據權利要求1所述的一種基于深度學習的鹽體語義分割方法，其特征在于：所述鹽體分割分支模塊包括1個3×3卷積層和一個1×1卷積層，輸出為含鹽的特征圖。