[發明專利]基于機器視覺和深度學習的虛焊檢測方法、系統及介質

在審

• 申請號: 201911120569.0
• 申請日: 2019-11-15
• 公開（公告）號: CN110910363A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 王東;江琴;唐鼎;李大永;彭穎紅
• 申請（專利權）人: 上海交通大學;上海鑫燕隆汽車裝備制造有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G01N21/88
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于機器視覺和深度學習的虛焊檢測方法，包括：步驟1：對焊點處進行拍攝，獲取原始數據圖像；步驟2：對原始數據圖像進行灰度化處理；步驟3：對灰度化處理后的圖像進行預處理，進行濾波處理，消除噪聲；步驟4：對預處理后的圖像進行分割處理，將焊點與背景進行區分，得到所有的焊點目標；步驟5：對所有的焊點目標進行虛焊識別，完成焊點的虛焊檢測。本發明方法實現了白車身焊點的自動識別與虛焊焊點檢測，有助于節約人工成本；虛焊識別率高，減少了人為影響，有助于提升工業生產效率和可靠性。

技術領域

本發明涉及焊接技術領域，具體地，涉及一種基于機器視覺和深度學習的虛焊檢測方法、系統及介質。

背景技術

隨著汽車行業的持續發展，自動化和智能化的需求日益提升，其中白車身焊點的檢測目前還主要依靠人工肉眼。

對于虛焊的判別，需要X射線的穿透效應來獲悉內部情況。

而X射線探測成本較高，不適合大面積推廣使用；且存在安全隱患，影響了生產效率。

傳統的視覺檢測手段，比如檢測尺寸，顏色，位置，與給定的標準進行對比，并不適合對虛焊的檢測。人難以給出準確的虛焊判別標準，它不能用尺寸、顏色、異物等定量地顯性描述。因此，不能依靠邏輯推理和專家知識庫來解決。

深度學習神經網絡是有大量結構化的可訓練的參數，可以用大量的數據來訓練這些參數，而使該網絡學習到事物的規律，從而對新樣本進行判斷。

CNN卷積神經網絡常用來學習2D的圖像，廣泛應用于人臉識別，無人駕駛，指紋識別等領域。

神經網絡中要輸入非線性模塊，來學習到事物的非線性方面。采用ReLU作為傳遞函數，相比sigmoid和tanh函數，具有非飽和的特點，不會出現梯度彌散，在反向傳播求誤差梯度時，ReLU收斂速度更快。

采用交叉熵作為損失函數，迭代的目標是讓損失函數最小化。通過損失函數梯度下降法反向傳播更新神經網絡的參數，使得估計值更接近真實值。

最大間類方差法(OSTU)是指利用閾值將圖像分為前景和背景兩個圖像，被廣泛應用于圖像分割中。其算法思想為同時考慮像素的灰度值分布和它們鄰域像素的平均灰度值分布，因此形成的閾值是一個二維矢量，最大的閾值在一個二維的測度準則下確定最大值時得到。

機器人點焊已經廣泛應用于白車身點焊，機器人按照預定的軌跡在預定的位置進行點焊。這些焊點的位置信息可以共享給機器視覺的控制系統。

機器人點焊和機器視覺通過手眼標定而建立圖像中的像素位置與物體的實際位置之間的關系。

根據點焊機械手的焊點位置信息，可以找到圖像中焊點的中心。再根據OSTU，把焊點的形狀和大小提取出來。

圖像的Hog特征(Histogram of Oriented Gradient)是指一種在計算機視覺和圖像處理中用來描述物體檢測的特征描述子。它通過計算和統計圖像局部區域的梯度方向直方圖來構成特征。Hog特征結合SVM(Support Vector Machine)分類器已被廣泛應用是圖像識別中。

當前白車身的焊點檢測廣泛依賴人工肉眼，人的疲勞、責任心和經驗欠缺都可能造成誤判。而且使用的人員數量較多所帶來的管理問題，不同評判結果之間的爭議沒有評判標準等問題，都突顯出機械視覺檢測將帶來的深遠影響。

本發明的技術解決問題是：克服現有技術的不足，提出一種基于機器視覺和深度學習的圖像特征提取和機器學習的虛焊檢測方法，解決白車身焊點虛焊的自動檢測問題，實現焊點正常/虛焊的分類。提高檢測的可靠性和效率。