[發明專利]一種面向雕花口紅質檢的實例分割缺陷檢測方法

在審

• 申請號: 202210180438.7
• 申請日: 2022-02-26
• 公開（公告）號: CN114549489A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王海峰;呂建豪;鄭杭彬;蔣文波
• 申請（專利權）人: 上海可明科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/82;G06V10/764;G01N21/88;G06N3/04;G06N3/08
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 張晶

1.一種面向雕花口紅質檢的實例分割缺陷檢測方法，其特征在于，以Swin-Transformer網絡結構為基礎，引入目標檢測YOLO v5網絡來提高缺陷檢測的速度和精度，具體包括以下步驟：

S1、口紅數據采集與標注：配置實驗環境，對拍攝環境進行處理，在處理后的環境下對口紅進行拍照采集數據，并根據要求對所拍攝的照片進行標簽標注；

S2、標簽數據轉化：將有缺陷口紅劃分為五種缺陷類型，孔洞、粘皮、刮膏、中樞杯來料異常和子彈頭未脫模到底，并對缺陷類型進行標注；標注時，將口紅膏體分為雕花部分和無雕花分開進行標注，標注文件以json文件的格式進行保存；

S3、實例分割模型訓練：根據實例分割模型的結構特點對S2中獲取的圖像數據進行預處理，然后將完成預處理工作的圖像數據輸入到實例分割模型中進行模型訓練，使實例分割模型可以根據圖像數據學習特征，實現雕花口紅雕花部分和無雕花部分的實例分割；

S4、目標檢測模型的訓練：針對口紅檢測對于速度和精度的要求，采用YOLO v5X模型對雕花口紅的雕花部分和無雕花部分進行缺陷檢測，再次進行實例分割模型訓練工作，得到更為準確的新結構模型。

2.根據權利要求1所述的一種面向雕花口紅質檢的實例分割缺陷檢測方法，其特征在于，所述S1中提到的對拍攝環境進行處理，具體包括有：

A1、控制拍攝位置周圍的環境光與工作環境保持一致；

A2、拍攝用攝像機的角度保持一致；

A3、拍攝背景與工作環境保持一致；

A4、保證相機的高度可根據需要進行調節。

3.根據權利要求1所述的一種面向雕花口紅質檢的實例分割缺陷檢測方法，其特征在于，所述S1中提到的口紅缺陷圖片的獲取，拍攝過程中需注意：

B1、需要同時拍攝到口紅的四個面，且圖片中不能出現待測口紅以外的口紅柱體；

B2、拍攝時，需要保證環境以及口紅膏體的整潔程度，防止出現粉塵干擾模型檢測。

4.根據權利要求1所述的一種面向雕花口紅質檢得實例分割缺陷檢測方法訓練及優化方法，其特征在于，所述S3中提到的實例分割模型訓練，具體包括以下步驟：

C1、對S2中獲取的圖像數據進行預處理，處理好的數據首先進入實例分割模型的BackBone中進行特征提取；

C2、將按批量輸入的圖片可以看成是尺寸為(B，C，W，H)的四維向量，通過PatchPartition使用kernel size和stride均為4的卷積操作將圖片的H和W降為原來的1/4；

C3、通過Patch Embedding進行維度變換處理，將H，W展開，并和C交換，得到(B，W*H，C)的三維向量；

C4、將C3中所得三維向量輸入實例分割模型的Block中，歸一化后恢復到(B，C，W，H)；

C5、在C4所得結果的基礎上再進行窗口劃分，將W和H兩個維度進行剪切，劃分成數個大小相同的四維向量，使每個小向量的維度為(B，C，w，h)；

C6、再進行維度變化變為(B，w*h，C)，將為每個不同位置窗口的向量設置一個位置編碼，使其進行self attention時融合進位置信息；

C7、通過實例分割模型輸出一組組向量，稱為特征圖，特征圖的每一個點設定預定個的ROI，獲得多個候選ROI；

C8、將C7中所得ROI送入RPN層網絡中進行二值分類和BB回歸，過濾掉一部分候選的ROI，接著對這些剩下的ROI進行ROIAlign操作；

C9、使用FPN網絡進行類別分類和BB回歸，使用FCN進行Mask生成。

5.根據權利要求1所述的一種面向雕花口紅質檢的實例分割缺陷檢測方法，其特征在于，所述S4中提到的目標監測模型YOLO v5的訓練，具體包括以下步驟：

D1、得到目標監測模型YOLO v5的版本源碼，打開源碼中的train.py文件；

D2、在D1中打開的train.py文件中，修改opt內容，具體包括“--weights”，“--cfg”，“--data”，“—epoch，“—batch-size”，“—img-size”，“--device”內容；

D3、完成D2所述操作后，開始對于目標監測模型YOLO v5的訓練，并根據驗證集的測試效果調整超參數值；

D4、在達到一定的epoch后對目標監測模型YOLO v5進行測試，將模型得到的敏感性非缺陷特征重新標記，并進行迭代訓練。