[發明專利]一種基于深度學習網絡的機械裝配體圖像分割方法和設備

有效

• 申請號: 202011310983.0
• 申請日: 2020-11-20
• 公開（公告）號: CN112288750B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 陳成軍;張春林;李東年;潘勇;高瑋;趙正旭;洪軍
• 申請（專利權）人: 青島理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T15/08;G06T19/20;G06N3/04;G06N3/08
• 代理公司: 福州科揚專利事務所(普通合伙) 35001
• 代理人: 魏珊珊

1.一種基于深度學習網絡的機械裝配體圖像分割方法，其特征在于，包括以下步驟：

通過深度學習網絡構建由編碼器網絡和解碼器網絡組成的機械裝配體輕量化語義分割模型；

建立機械裝配體數據集，建立復數個機械裝配體的三維模型，并對各所述三維模型中的各零件添加標記，根據所述標記對所述三維模型進行三維渲染，得到不同角度下三維模型的深度圖像和對應的標簽圖像；從各個三維模型中分別選取一個裝配階段的深度圖像，整合為測試集，剩余的深度圖像作為訓練集；

特征提取，將訓練集中的深度圖像輸入到所述編碼器網絡中，對所述深度圖像進行特征提取，獲取高信息質量的特征圖；

圖像分割，將所述高信息質量的特征圖輸入至所述解碼器網絡中，恢復圖像大小并進行特征融合，得到多維分割圖；

模型優化，根據多維分割圖與對應的標簽圖像之間的誤差，更新所述編碼器網絡中的可訓練參數；

模型輸出，利用所述訓練集中的深度圖像，迭代執行所述特征提取、圖像分割和模型優化步驟，直到達到預設的訓練次數；利用所述測試集中的深度圖像對所述機械裝配體輕量化語義分割模型進行驗證，驗證成功后輸出所述機械裝配體輕量化語義分割模型；

圖像分割，利用訓練好的所述機械裝配體輕量化語義分割模型對機械裝配體進行圖像分割，分割出機械裝配體的各零件；

所述編碼器網絡包含多層操作，每層操作由卷積模塊、最大池化操作和選擇性卷積模塊組成；所述卷積模塊包括卷積核、批量歸一化操作和激活函數ReLu，所述編碼器網絡的輸入端用于獲取深度圖像，依次通過卷積、批量歸一化和激活函數ReLu操作，生成初始特征圖；所述選擇性卷積模塊包括選擇性卷積核，用于對所述初始特征圖進行動態選擇，生成所述高信息質量的特征圖；所述最大池化操作用于擴大感受野并同時加倍輸入圖像的通道數；

所述解碼器網絡包括多層操作，每層操作由上采樣操作、通道融合操作以及兩個卷積模塊組成；所述上采樣操作用于對所述高信息質量的特征圖進行上采樣，并將所述高信息質量的特征圖的通道數減半；所述通道融合操作用于將所述高信息質量的特征圖的通道進行合并；所述卷積模塊包括卷積核和激活函數ReLu，用于對輸入的圖像進行卷積操作和激活操作；在所述解碼器網絡的最后一層的最后端，連接有一個卷積操作和激活函數ReLu，通過所述卷積操作和激活函數ReLu獲取多維分割圖。

2.根據權利要求1所述的一種基于深度學習網絡的機械裝配體圖像分割方法，其特征在于：所述機械裝配體輕量化語義分割模型后端還連接有一DenseCRF后處理模塊，所述DenseCRF后處理模塊用于對所述多維分割圖進行修正，得到更細致的分割邊界。

3.根據權利要求1所述的一種基于深度學習網絡的機械裝配體圖像分割方法，其特征在于：在所述模型優化步驟中，用反向傳播算法，根據交叉熵損失函數計算多維分割圖與對應的標簽圖像之間的誤差值，使用優化器反向更新所述編碼器網絡中的可訓練參數。

4.一種基于深度學習網絡的機械裝配體圖像分割設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至3任一項所述的方法。

5.一種基于深度學習網絡的機械裝配體圖像分割介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至3任一項所述的方法。