[發明專利]基于深度學習的材料顯微圖像缺陷識別方法、設備及裝置

有效

• 申請號: 202110259892.7
• 申請日: 2021-03-10
• 公開（公告）號: CN112862811B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 曹元成;徐佐;沙武鑫;朱志華;武漢琦;程丹芃;曹志成
• 申請（專利權）人: 華中科技大學;中信戴卡股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06T7/70;G06N3/08;G06N3/0464
• 代理公司: 武漢卓越志誠知識產權代理事務所(特殊普通合伙) 42266
• 代理人: 胡婷婷

本發明提供了一種基于深度學習的材料顯微圖像缺陷識別方法、設備及裝置。首先采用分類標記對獲取的材料結構顯微圖像進行缺陷標注；然后利用仿射變換將樣本圖片集分割形成訓練集；接著利用含有分類標注的訓練集對預先構建的缺陷識別模型進行訓練；最后利用訓練好的缺陷識別模型對待識別缺陷樣本進行缺陷檢測，獲得目標缺陷樣本中的缺陷類別與位置。本發明采用分類標注的方法對缺陷圖像進行標注，并綜合卷積神經網絡模型、區域生成模型和語義分割模型，從而實現高精度的圖像分割和識別，提高缺陷識別的速度和精度，有助于推動合金工業的智能化進展，加速第四次工業革命在金屬鑄造行業的應用。

技術領域

本發明涉及圖像識別技術技術領域，尤其涉及一種基于深度學習的材料顯微圖像缺陷識別方法、設備及裝置。

背景技術

合金產品已廣泛應用于交通運輸、航空航天、建筑制造等各個領域，在生產生活中的需求量巨大。雖然鋁合金的制造加工工藝已經相當成熟，但是多變的使用和加工環境為合金的規模化制造帶來了挑戰。通過先進的表征手段探測鑄造產品內部的狀態和缺陷，并采取對應的調整措施，可以挽回大量的經濟損失，并大大提高生產效率。因此，及時、準確并批量的分析出合金的內在狀態并反饋給鑄造工藝系統，對于現代智能制造來說至關重要。

由于合金的宏觀力學性質在很大程度上取決于微觀組織的組成和結構，因此常常采用顯微譜圖進行表征。金相圖像分析是金屬材料微觀結構的重要工具。金相圖像的自動化處理將為整個合金鑄造行業帶了巨大效益。幸運的是，先進的深度學習算法，超強并行計算架構和大量的訓練數據在圖像處理上獲得了巨大的成功。這些方法可以巧妙地嫁接在顯微金屬圖像的處理上，實現顯微金屬圖像的自動處理、分類和定量統計，進一步加快金屬鑄造行業的智能化。然而，現有的圖像處理方法對顯微圖像的識別精度和速度還有待提高。

有鑒于此，有必要設計一種改進的基于深度學習的材料顯微圖像缺陷識別方法，以解決上述問題。

發明內容

為了克服上述現有技術中精度低、速度慢等不足，本發明的目的在于提供一種基于深度學習的材料顯微圖像缺陷識別方法、設備及裝置。

為實現上述發明目的，本發明提供了一種基于深度學習的材料顯微圖像缺陷識別方法，包括：

獲取待識別圖像；

將所述待識別圖像分割成若干預設大小的圖像子塊，輸入到預先訓練好的缺陷識別模型，得到待識別圖像的缺陷信息；

其中，所述缺陷識別模型包括：

卷積神經網絡模型，用于提取圖像特征集合以及預測得分；

區域生成模型，用于確定缺陷位置信息；

和語義分割模型，用于確定缺陷類別信息。

作為本發明的進一步改進，所述缺陷識別模型的訓練方法包括如下步驟：

S1.獲取若干顯微圖像，并對所述顯微圖像的缺陷類別和缺陷位置進行分類標注；將含有一或多個缺陷的顯微圖像通過仿射變換分割成按預設權重配比的訓練集；

S2.利用所述訓練集對預配置權重的缺陷識別模型進行訓練。

作為本發明的進一步改進，所述訓練方法包括：

按顯微圖像缺陷信息分配訓練集權重，將所述訓練集輸入構建的所述卷積神經網絡模型；

使用預配置權重的缺陷識別模型進行權重遷移；

收集所述卷積神經網絡模型最后一個卷積層輸出的特征圖，ROI?Align層將多尺度特征圖轉化為相同尺寸，全連接層對特征圖實現缺陷分類與回歸，mask層實現語義分割。

作為本發明的進一步改進，所述缺陷識別模型訓練采用的損失函數為：