[發明專利]一種基于YOLACT模型的工件表面缺陷檢測方法

在審

• 申請號: 202310089930.8
• 申請日: 2023-01-17
• 公開（公告）號: CN116433579A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 任曉輝;何小其;楊根科;褚健
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊

本發明公開了一種基于YOLACT模型的工件表面缺陷檢測方法，涉及工件表面缺陷檢測與機器視覺技術領域，包括：S100、圖像采集；S200、圖像標注；S300、數據增強；S400、模型構建；S500、模型訓練；S600、模型驗證，S700、缺陷檢測。本發明具有較強的魯棒性和泛化能力，并提升了缺陷目標邊緣檢測的精度，可以獲取更細粒度的檢測結果，更高的檢測速度，更適宜于部署在CPU中，更加適合應用于實際的工業生產環境。

技術領域

本發明涉及工件表面缺陷檢測與機器視覺技術領域，尤其涉及一種基于YOLACT模型的工件表面缺陷檢測方法。

背景技術

工件是組成工業設備的最基本組成單位，它的品質直接決定了產品的整體性能，所以工件的質量檢測是工業生產中不容忽視的一個重要環節。因此，實現工件質量檢測過程的自動化和智能化刻不容緩。但是在如今的工件生產環節中，生產商們更多的是使用人工手段檢測工件缺陷，包括人眼觀察或人耳聽聲等方法。利用人工檢測工件缺陷的方法顯然存在許多缺點，包括工人們高昂的薪酬，檢測速度較慢，工人的個體差異使檢測結果產生主觀性以及工人們由于疲勞，厭倦等情緒所導致的檢測錯誤等。總的來說，利用人工手段檢測工件缺陷將導致工件的生產成本提高，產品質量一致性難以保證，在市場上缺乏競爭力，極大的影響了企業的發展。

為了克服人工缺陷檢測的缺點，工件生產商們迫切地需要一種能夠自動檢測產品缺陷的系統。在需求的推動下，各種基于不同技術的缺陷檢測系統不斷地被開發出來，其中基于數字圖像處理和機器視覺的自動化缺陷檢測技術由于具有檢測速度快、人工成本低和檢測結果穩定可靠等特點，被廣泛地應用于缺陷檢測領域。由于自動化檢測技術能帶來更高的效益，這項技術己經被運用到了很多工業產品的實際生產過程當中，例如帶鋼的表面缺陷識別，木材缺陷無損檢測，布匹花紋缺陷檢測，瓷磚表面缺陷檢測，電子元件外形缺陷檢測以及液晶顯示器的顯示缺陷檢測等。在許多產品的外表缺陷檢測中，由于工件本身的結構復雜，傳統的計算機視覺技術很難提取到合適的特征向量，檢測效果不佳，于是產生了使用卷積神經網絡自動提取圖像特征進行缺陷檢測的方法。卷積神經網絡相對于傳統計算機視覺方法，具有自動提取圖像特征的優點，可以避免圖像處理過程中復雜的圖像特征提取算法設計過程。基本的卷積神經網絡包含多個卷積層、下采樣層、激活函數層以及全連接層等多種層次結構，其中卷積層是局部響應理論的一種體現，是卷積神經網絡用于提取圖像局部特征的層次結構。神經網絡通過層間連接把提取到的局部特征融合為全局特征并做出最終判斷，這是對人腦處理視覺信息的過程的一種模擬。通過設計包含多個卷積層的卷積神經網絡，網絡可以處理具有復雜紋理特征的工件圖像。將其代替傳統計算機視覺算法作為系統的圖像處理算法，系統的工件缺陷檢測能力將得到極大地提高。在工業場景下工件表面缺陷檢測領域，使用最為廣泛的是利用卷積神經網絡提取圖像特征的目標檢測網絡模型YOLO(You?Look?Only?Once)系列。該系列檢測模型能夠識別圖像中的缺陷類別并輸出缺陷的邊界框坐標做到缺陷定位。但現有的工業場景下工件表面缺陷檢測方法仍存在以下問題：

1、目前大多數通過卷積神經網絡實現的工件表面缺陷檢測方法，都是基于目標檢測模型來進行搭建實現的。目標檢測方法所能夠獲得的缺陷信息十分有限，僅為缺陷目標的矩形外接框信息以及類別信息，不利于對檢測結果的進一步后處理，導致缺陷檢測的精度不高；

2、目前大多數的檢測方法采用SE-attention模塊來加強模型對圖像特征的提取能力。具體地，SE-attention模塊會用全局上下文對不同通道進行權值重標定，從而調整通道依賴。然而，采用權值重標定的特征融合方法，并不能充分利用全局的上下文信息，因此利用SE-attention模塊加強模型特征提取能力的方法還有待進一步改進；

3、目前大多數檢測方法只考慮在GPU中部署應用，因此在模型中基本只使用普通的卷積模塊，然而普通的卷積模塊在CPU上運行效率并不高，導致了檢測方法在CPU上部署之后檢測速度會大大降低；

4、目前大多數的檢測方法為采用流行的目標檢測模型改進而來，由于工件表面的缺陷目標與背景之間的對比度比較低，因此這些檢測方法對于缺陷目標邊緣部分的檢測效果并不是很好。