[發明專利]圖像配準與缺陷檢測方法、模型、訓練方法、裝置及設備

有效

• 申請號: 202010168745.4
• 申請日: 2020-03-11
• 公開（公告）號: CN111369550B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 黃家水;王忠強;唐永亮
• 申請（專利權）人: 創新奇智（成都）科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06N3/08;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

本申請提供一種圖像配準與缺陷檢測方法、模型、訓練方法、裝置及設備，通過將未進行缺陷標記的訓練集圖片輸入圖像配準與缺陷檢測模型的編碼器?解碼器網絡中得到第一特征圖，然后通過變換參數回歸網絡，得到配準參數；接著空間變換操作模塊基于配準參數，對訓練集圖片和第一特征圖進行空間變換，得到配準圖片和配準特征圖，將配準特征圖輸入語義分割網絡，得到缺陷熱力圖。最后根據配準圖片、缺陷熱力圖以及預設的基準圖片計算網絡損失，并進行反向傳播更新參數。這樣，即實現了無監督的機器學習，降低了缺陷檢測的成本，拓寬了適用范圍。此外，可以將缺陷檢測和配準工作統一進行處理，不僅可以減少處理時間，還可在保持一致性的同時提高了準確度。

技術領域

本申請涉及缺陷檢測領域，具體而言，涉及一種圖像配準與缺陷檢測方法、模型、訓練方法、裝置及設備。

背景技術

在工業產品加工過程中，由于原材料、軋制設備和工藝等原因，使得生產出的工業產品往往不可避免會出現不同類型的缺陷，常見的缺陷包括劃痕，氣孔和夾雜物等，這些缺陷不僅影響產品的外觀，還會降低產品的耐腐蝕性、耐磨性和疲勞強度等性能，給企業造成巨大的經濟損失。如何在生產過程中自動檢測出產品缺陷以控制和提高產品質量，是企業十分關注的問題。

目前，在工業產品缺陷檢測的過程中，通常使用的是有監督的機器學習方法，即通過提供人工標注的準確分割結果的訓練集圖片訓練得到一個缺陷檢測模型，進而依據該缺陷檢測模型進行缺陷檢測。但是該方案，在訓練缺陷檢測模型時需要提供大量人力資源和時間資源來進行訓練集圖片的標注，極大地提高了實現產品缺陷檢測的成本。

發明內容

本申請實施例的目的在于提供一種圖像配準與缺陷檢測方法、模型、訓練方法、裝置、設備及存儲介質，用以解決目前的缺陷檢測模型，需要提供大量人力資源和時間資源來進行訓練集圖片的標注，極大地提高了實現產品缺陷檢測的成本的問題。

本申請實施例提供了一種圖像配準與缺陷檢測模型的訓練方法，包括：

將未進行缺陷標記的訓練集圖片輸入圖像配準與缺陷檢測模型的編碼器-解碼器網絡中，以得到所述訓練集圖片的第一特征圖；所述訓練集圖片中包括針對同一種對象拍攝得到的存在缺陷的圖片和不存在缺陷的圖片，且所述訓練集圖片為預設尺寸的灰度圖片；將所述第一特征圖輸入所述圖像配準與缺陷檢測模型的變換參數回歸網絡，得到配準參數；所述圖像配準與缺陷檢測模型的空間變換操作模塊基于所述配準參數，對所述訓練集圖片和所述第一特征圖進行空間變換，得到所述訓練集圖片對應的配準圖片和所述第一特征圖對應的配準特征圖；將所述配準特征圖輸入所述圖像配準與缺陷檢測模型的語義分割網絡，得到所述配準特征圖對應的缺陷熱力圖；根據所述配準圖片、所述缺陷熱力圖以及預設的基準圖片計算網絡損失；所述基準圖片為與所述訓練集圖片為同一種對象的不存在缺陷的灰度圖片，且所述基準圖片的尺寸與所述訓練集圖片的尺寸相同；根據所述網絡損失的計算結果進行反向傳播，更新所述圖像配準與缺陷檢測模型的參數。

在上述實現過程中，通過未進行缺陷標記的訓練集圖片即可實現對圖像配準與缺陷檢測模型的訓練，通過編碼器-解碼器網絡進行特征提取得到第一特征圖，然后利用變換參數回歸網絡，得到配準參數，從而利用該配準參數即可得到各訓練集圖片配準圖片以及各第一特征圖對應的配準特征圖。而基于配準特征圖可以通過語義分割網絡得到缺陷熱力圖，基于配準圖片以及預設的基準圖片即可確定出實際的缺陷位置，進而確定缺陷熱力圖的損失程度并進行反向傳播，更新圖像配準與缺陷檢測模型的參數。這樣，即實現了無監督的機器學習，工程師只需提供訓練集圖片，無需進行人工標注，因此節約了人力資源和時間資源，降低了實現產品缺陷檢測的成本，拓寬了適用范圍。此外，通過上述實現過程訓練得到的圖像配準與缺陷檢測模型，可以在進行缺陷檢測的同時，實現對于待檢測圖片的配準，這樣，將缺陷檢測和配準工作統一進行處理，不僅可以減少處理時間，同時二者可以互為參照，在保持一致性的同時提高了準確度。