[發明專利]圖像缺陷分類方法、裝置及電子設備

有效

• 申請號: 202011219552.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112036517B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 陳曉炬;杜松
• 申請（專利權）人: 中科創達軟件股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06T3/40
• 代理公司: 北京竹辰知識產權代理事務所(普通合伙) 11706
• 代理人: 陳龍

本發明實施例公開了一種圖像缺陷分類方法、裝置及電子設備，涉及數據處理技術領域。該方法包括：針對待進行缺陷檢測的目標圖像進行縮放處理，得到與所述目標圖像對應的縮略圖；基于提取到的所述粗特征，通過反向梯度的方式得到所述目標圖像對應的熱力圖；利用所述骨架網絡中的細特征提取分支，對所述缺陷子圖進行特征提取，得到所述目標圖像的細特征；通過分支特征權重調節器，對所述粗特征和所述細特征進行權值調整，得到最終的目標特征，所述目標特征用于輸入到集成分類器，以便于在所述集成分類器中對所述目標圖像的缺陷類別進行預測。通過本申請的方案，提高了圖像缺陷分類的效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及圖像缺陷分類技術。

背景技術

缺陷檢測和分類任務中，有以下需求和問題：

1）有復雜場景的缺陷檢測需求：缺陷檢測和分類需求中，如工件表面的缺陷檢測中，同一零件工件在不同的工藝流程中背景、光照條件都不一致，導致存在不同背景下需要缺陷檢測的需求。

2）在圖像中有大缺陷和小缺陷，現有的圖像分類方法不能很好地同時適用大缺陷和小缺陷。大缺陷，在小圖像中特征能保留；而在縮放后的小圖像中，小缺陷將變得更小，特征不易提取，致使小缺陷分類效果差。

現有的缺陷分類技術，主要有3個：

a) 經典圖像分類方法：

以區分不同的缺陷類別作為分類的目標，通常采用vggNet，ResNet，DenseNet等經典分類神經網絡進行缺陷分類。但由于沒有缺陷定位算法，只能通過對原圖縮放后的resized_img子圖，將定位后的缺陷位置圖縮放到一定尺寸后作為輸入，通過backbone骨架網路進行特征提取，之后再通過全連接層等分類器對特征進行分類，得到此圖的缺陷類別。

b) 基于特定缺陷定位算法的圖像分類方法：

通常，該方法首先通過傳統圖像處理算法或GAN、AutoEncoder等深度學習方法，進行缺陷的定位；之后，通過缺陷位置信息，從原圖中裁切出一定大小的cropped_img子圖，采用經典網絡進行缺陷類別預測。

c) 目標檢測方法：

目前，Yolo、RCNN等目標檢測方法是進行缺陷分類效果最佳、應用較廣的方式。但目標檢測需要人工標注，標定出缺陷類別和各個缺陷在圖中的位置信息。

現有方案(a). 沒有定位算法的缺陷分類方法：分類效果有限；現有方案(b).基于特定缺陷定位算法的缺陷分類方法：強依賴于圖片的場景和缺陷定位算法，不同場景的圖片，其需要的缺陷定位算法不同；現有方案(c).目標檢測算法：需要大量的人工標注

針對上述問題，亟需一種全新的圖像缺陷分類技術。

發明內容

有鑒于此，本發明實施例提供一種圖像缺陷分類方法、裝置、電子設備、非暫態計算機可讀存儲介質及計算機程序，至少部分的解決現有技術中存在的問題。

第一方面，本發明實施例提供了一種圖像缺陷分類方法，包括：

針對待進行缺陷檢測的目標圖像進行縮放處理，得到與所述目標圖像對應的縮略圖，以便于利用骨架網絡中的粗特征提取分支對所述縮略圖進行特征粗提取，得到粗特征；

基于提取到的所述粗特征，通過反向梯度的方式得到所述目標圖像對應的熱力圖，以便于基于所述熱力圖對所述目標圖像上存在的缺陷進行定位，并基于定位得到的缺陷位置從所述目標圖像上裁剪缺陷子圖；

利用所述骨架網絡中的細特征提取分支，對所述缺陷子圖進行特征提取，得到所述目標圖像的細特征；