[發明專利]一種基于YOLACT模型的工件表面缺陷檢測方法

在審

• 申請號: 202310089930.8
• 申請日: 2023-01-17
• 公開（公告）號: CN116433579A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 任曉輝;何小其;楊根科;褚健
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊

1.一種基于YOLACT模型的工件表面缺陷檢測方法，其特征在于，包括：

S100、圖像采集，使用工業攝像機采集工業流水線上的工件表面圖像；

S200、圖像標注，使用圖像標注工具對所述工件表面圖像進行缺陷標注，生成工件表面缺陷數據集；

S300、數據增強，對所述工件表面缺陷數據集使用數據增強策略進行數據增強；

S400、模型構建，構建基于YOLACT的工件表面缺陷檢測模型；

S500、模型訓練，將經過數據增強的工件表面缺陷數據集按照一定比例劃分為訓練集和測試集，將所述訓練集輸入所述工件表面缺陷檢測模型進行訓練，得到初步訓練的工件表面缺陷檢測模型；

S600、模型驗證，使用初步訓練的工件表面缺陷檢測模型進行缺陷檢測，即使用初步訓練的工件表面缺陷檢測模型進行缺陷預測，得到經過驗證的工件表面缺陷檢測模型；

S700、缺陷檢測，將經過驗證的工件表面缺陷檢測模型部署在工業流水線，進行實時工件表面缺陷檢測。

2.如權利要求1所述的基于YOLACT模型的工件表面缺陷檢測方法，其特征在于，所述步驟S100包括：

S110、光照凸顯所述工業流水線上的工件表面缺陷的特征；

S120、使用所述工業攝像機拍攝工件表面圖像；

S130、存儲所述工件表面圖像。

3.如權利要求2所述的基于YOLACT模型的工件表面缺陷檢測方法，其特征在于，所述步驟S200包括：

S210、對所述工件表面圖像中的表面缺陷進行標注，生成對應的標注文件，每一張工件表面圖像生成一個標注文件，包括缺陷的類別和缺陷的位置；

S220、對所有工件表面圖像標注完成之后，得到所有工件表面圖像對應的標注文件；

S230、將所述所有工件表面圖像對應的標注文件轉換合并成一個整體標注文件；

S240、所述工件表面圖像及其對應的標注文件構成工件表面缺陷數據集。

4.如權利要求3所述的基于YOLACT模型的工件表面缺陷檢測方法，其特征在于，所述步驟S300中數據增強策略包括：

隨機裁剪，在工件表面缺陷不被裁掉的情況下，隨機裁剪所述工件表面圖像，并計算原來的標注缺陷邊界點在隨機裁剪后的所述工件表面圖像中的位置；

隨機水平翻轉，以0.5的概率對所述工件表面圖像及所述標注缺陷邊界點進行水平翻轉；

隨機垂直翻轉，以0.5的概率對所述工件表面圖像及所述標注缺陷邊界點進行垂直翻轉；

尺度抖動，隨機將所述工件表面圖像大小重新調整成原始大小的0.5-1.5倍，并相應地調整標注缺陷邊界點

色彩抖動，將工件表面圖像從RGB空間轉入HSV空間，對所述工件表面圖像的明度、飽和度和色調進行隨機變化，形成不同光照及顏色下的圖片，再將變換后的工件表面圖像轉換到RGB空間；

圖像拼接，從所述工件表面缺陷數據集中隨機選取四張工件表面圖像，然后對所述四張工件表面圖像進行拼接，將所述四張工件表面圖像拼接之后就獲得新工件表面圖像，同時獲得對應的標注缺陷邊界點；

圖像融合，從所述工件表面缺陷數據集中隨機選取兩張工件表面圖像，然后將所述兩張工件表面圖像按照一定的比例進行加權融合，即對應的每個像素值按一定比例相加。