[發明專利]基于機器視覺和深度學習的虛焊檢測方法、系統及介質

在審

• 申請號: 201911120569.0
• 申請日: 2019-11-15
• 公開（公告）號: CN110910363A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 王東;江琴;唐鼎;李大永;彭穎紅
• 申請（專利權）人: 上海交通大學;上海鑫燕隆汽車裝備制造有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G01N21/88
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于機器視覺和深度學習的虛焊檢測方法，其特征在于，包括：

步驟1：對焊點處進行拍攝，獲取原始數據圖像；

步驟2：對原始數據圖像進行灰度化處理；

步驟3：對灰度化處理后的圖像進行預處理，進行濾波處理，消除噪聲；

步驟4：對預處理后的圖像進行分割處理，將焊點與背景進行區分，得到所有的焊點目標；

步驟5：對所有的焊點目標進行虛焊識別，完成焊點的虛焊檢測。

2.根據權利要求1所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述濾波處理包括：對灰度化處理后的圖像進行高斯濾波。

3.根據權利要求1所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述分割處理包括：根據OSTU算法對預處理后的圖像進行分割處理。

4.根據權利要求1所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述步驟4包括：

步驟4.1：對焊點與背景分割的圖像進行目標提取，根據點焊機器人的軌跡得到焊點的坐標，轉化為圖像中焊點的像素位置，提取焊點目標信息；

步驟4.2：根據焊點目標信息和先驗信息，對焊點目標進行鑒別，剔除假焊點。

5.根據權利要求4所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述目標信息包括像素個數、長和寬；

所述先驗信息包括焊點目標的預設尺寸大小和預設長寬比；

當實際尺寸大小超出預設尺寸大小的10％，并且長寬比超出預設長寬比10％時，判定為假焊點。

6.根據權利要求1所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述步驟5包括：

當焊點目標總數量小于預設閾值時，先提取焊點目標的HOG特征，再根據支持向量機SVM進行虛焊識別；

當焊點目標總數量大于等于預設閾值時，根據神經網絡分類進行虛焊識別。

7.根據權利要求6所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述預設閾值的取值范圍為3000-5000。

8.根據權利要求6所述的基于機器視覺和深度學習的虛焊檢測方法，其特征在于，所述根據神經網絡分類進行虛焊識別，包括：

構建神經網絡：采用5層CNN卷積神經網絡加1層全連接網絡的方式，采用RGB三個輸入通道，每層網絡均加入深入理解dropout，隨機減少50％的參數個數，減少過擬合；

第一層CNN卷積神經網絡采用的卷積核大小為5×5，其余層CNN卷積神經網絡采用的卷積核大小為3×3；

根據構建的神經網絡對焊點目標進行分類，實現虛焊識別。

9.一種基于機器視覺和深度學習的虛焊檢測系統，其特征在于，包括：

模塊M1：獲取原始數據圖像；

模塊M2：對原始數據圖像進行灰度化處理；

模塊M3：對灰度化處理后的圖像進行預處理，進行濾波處理，消除噪聲；

模塊M4：對預處理后的圖像進行分割處理，將焊點與背景進行區分，得到所有的焊點目標；

模塊M5：對所有的焊點目標進行虛焊識別，完成焊點的虛焊檢測。

10.一種存儲有計算機程序的計算機可讀存儲介質，其特征在于，所述計算機程序被處理器執行時實現權利要求1至8中任一項所述的方法的步驟。