[發明專利]一種基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法

在審

• 申請號: 202310581331.8
• 申請日: 2023-05-23
• 公開（公告）號: CN116630343A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 劉洋;吳慶軍;代祎琳
• 申請（專利權）人: 青島理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/00;G06V10/26;G06V10/44;G06V10/764;G06V10/82;G06V10/32;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京佰智蔚然知識產權代理有限公司 37285
• 代理人: 趙奕

1.一種基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，其特征在于，包括如下步驟，

步驟一：采集圖像數據，包括采集無鉚釘鉚接件的剖面圖像數據，對每一張樣本圖像進行標注，生成樣本圖像對應的標簽圖像，并構建初始數據集；

步驟二：數據預處理，包括對初始數據集進行數據增強，使其適合于深度學習模型的輸入；

步驟三：構建深度學習模型，包括基于深度學習框架，使用DeepLabv3+模型設計連接件剖面圖像DeepLabv3+分割模型，模型包括編碼器和解碼器部分，編碼器用于提取圖像的特征，解碼器用于對特征進行重建以獲得圖像分割結果；

步驟四：模型訓練，包括設置DeepLabv3+分割模型的訓練參數，使用數據增強后的初始數據集對模型進行訓練，優化模型的參數和權重；

步驟五：圖像分割，包括利用訓練好的DeepLabv3+分割模型，對采集到的無鉚釘鉚接剖面圖像進行分割，得到剖面圖像的特征指標。

2.根據權利要求1所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，其特征在于，步驟一中，無鉚釘鉚接件的剖面圖像數據包括各種材料和不同連接方式的圖像，通過標注工具對每一張樣本圖像進行標注。

3.根據權利要求2所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，其特征在于，步驟一中，標注工具可以使用Labelme、CVAT、VIA、PixlAnnotationTool、EISeg中的一種或者多種組合，根據材料對截面進行分類，以表征關節形狀，標注出上板和下板其他區域作為背景，生成樣本圖像對應的標簽圖像，來獲得無鉚釘鉚接剖面的圖像數據集。

4.根據權利要求1所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，步驟二中，對初始數據集進行數據增強具體包括對初始數據集中的樣本圖像進行尺度隨機的平移、翻轉、旋轉、裁剪、縮放的操作；

數據增強工具選擇OpenCV、Imgaug、Skimage、PIL、Augmentor、Albumentations中的一種或者多種組合。

5.根據權利要求1所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，步驟三中，所述的深度學習框架選擇Tensorflow、Keras、Pytorch、Caffe、Theano、PaddlePaddle、MXNet、CNTK、Chainer、Deeplearning4j中的一種。

6.根據權利要求1所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，步驟三中，初始的DeepLabv3+模型結構采用基于CNN的編碼器-解碼器結構，解碼器中采用Xception模型，將Xception模型應用于分割任務，并將深度可分離卷積應用于Atrous空間金字塔池化(ASPP)和解碼器模塊，ASPP的結構采用1×1Conv-3×3Conv-3×3Conv卷積-3×3Conv-Image?Pooling結構。

7.根據權利要求6所述的基于深度學習的無鉚釘鉚接接頭剖面圖像分割方法，步驟三中，DeepLabv3+分割模型具體網絡形式為：

1)、先通過編碼器將輸入圖像的尺寸減小16倍；

2)、使用1×1卷積將通道數減小為256，后再接一個BN，ReLU激活函數和Dropout；

3)、使用雙線性插值對對齊進行上采樣4倍；

4)、將縮放4倍處的淺層的特征依次經過1×1卷積將通道數減小為48-BN-ReLU；

5)、拼接3和4的Feature?Map；

6)、經過兩組3×3Conv，BN，ReLU，Dropout；

7)、上采樣4倍得到最終的結果；

在解碼器模塊中，使用1×1卷積用于減少來自編碼器模塊的低級特征映射，3×3卷積用于獲得更清晰的分割結果的。