[發明專利]一種面向雕花口紅質檢的實例分割缺陷檢測方法

在審

• 申請號: 202210180438.7
• 申請日: 2022-02-26
• 公開（公告）號: CN114549489A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王海峰;呂建豪;鄭杭彬;蔣文波
• 申請（專利權）人: 上海可明科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/82;G06V10/764;G01N21/88;G06N3/04;G06N3/08
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 張晶

本發明公開了一種面向雕花口紅質檢的實例分割缺陷檢測方法，屬于深度學習技術領域。一種面向雕花口紅質檢的實例分割缺陷檢測方法，以Swin?Transformer網絡結構為基礎，引入目標檢測YOLO v5網絡，更具體說，包括有以下步驟：S1、對雕花口紅進行拍照采集數據，并根據要求對所拍攝的照片進行標簽標注；S2、將S1中標注完成的標簽數據進行轉化，轉化為可以直接輸入實例分割模型的數據類型；S3、根據實例分割模型的結構特點對圖像數據進行預處理，然后輸入模型中進行模型訓練；S4、對原始實例分割模型進行結構調整，壓縮模型，提高模型檢測清點速度；S5、針對分割區域采用目標檢測模型對口紅缺陷進行檢測。本發明有效減小了人力資源的消耗，提高了口紅的生產效率。

技術領域

本發明涉及深度學習的目標檢測技術領域，尤其涉及一種面向雕花口紅質檢的實例分割缺陷檢測方法。

背景技術

傳統人工口紅缺陷檢測存在局限性。傳統口紅缺陷檢測是質檢人員對口紅膏體表面的缺陷程度進行人工判斷，對口紅膏體進行人工篩選的缺點是：1、人工質檢會消耗大量人力物力，造成資源浪費；2、長時間的工作會導致人的疲勞，出現漏檢和錯檢的現象；3、人工質檢工作效率低，難以適應大工廠的生產模式。因此，需要將深度學習目標檢測技術引入口紅的缺陷檢測流程中來，以減少質檢人員的工作量，提高產品質量和生產效率。

目標檢測技術屬于計算機視覺技術的一個子分支。近年在目標檢測領域以深度學習方法為主流，尤其是以YOLO系列為代表的一階段算法具有快速準確的特點，已經在工程領域的眾多方面有所應用。但是根據查閱的文獻資料所得，YOLO系列的SOTA級模型YOLO v5的網絡結構是面對公共數據集進行測驗的，在面對實際雕花口紅目標缺陷檢測時，其表現存在許多的不足：1、雕花口紅的鏤空部分具有不規則、與孔洞缺陷相似的特點，給檢測模型帶來了困難；2、雕花的種類多樣，檢測模型很難學習到雕花的特征；3、口紅缺陷都是附著在膏體上，缺陷本身的灰度值與膏體相似，為模型通過圖片識別缺陷帶來了困難；4、檢測機制對模型識別缺陷的速度提出了要求，無法串聯模型來追求識別效果。為了克服上述問題，本發明提出了一種面向雕花口紅質檢的實例分割缺陷檢測方法。

發明內容

本發明的目的是對雕花口紅進行缺陷檢測，具體的分為雕花口紅的實例分割和口紅缺陷的目標檢測；其中，實例分割的作用是將雕花部分和膏體無雕花部分分割開來，從而達到便于缺陷檢測的效果；目標檢測的作用是保證缺陷識別的精度和速度。

為了實現上述目的，本發明采用了如下技術方案：

一種面向雕花口紅質檢的實例分割缺陷檢測方法，以Swin-Transformer網絡結構為基礎，引入目標檢測YOLO v5網絡來提高缺陷檢測的速度和精度，具體包括以下步驟：

S1、口紅數據采集與標注：配置實驗環境，對拍攝環境進行處理，在處理后的環境下對口紅進行拍照采集數據，并根據要求對所拍攝的照片進行標簽標注；

S2、標簽數據轉化：將有缺陷口紅劃分為五種缺陷類型，孔洞、粘皮、刮膏、中樞杯來料異常和子彈頭未脫模到底，并對缺陷類型進行標注；標注時，將口紅膏體分為雕花部分和無雕花分開進行標注，標注文件以json文件的格式進行保存；

S3、實例分割模型訓練：根據實例分割模型的結構特點對S2中獲取的圖像數據進行預處理，然后將完成預處理工作的圖像數據輸入到實例分割模型中進行模型訓練，使實例分割模型可以根據圖像數據學習特征，實現雕花口紅雕花部分和無雕花部分的實例分割；

S4、目標檢測模型的訓練：針對口紅檢測對于速度和精度的要求，采用YOLO v5X模型對雕花口紅的雕花部分和無雕花部分進行缺陷檢測，再次進行實例分割模型訓練工作，得到更為準確的新結構模型。

優選地，所述S1中提到的對拍攝環境進行處理，具體包括有：

A1、控制拍攝位置周圍的環境光與工作環境保持一致；

A2、拍攝用攝像機的角度保持一致；