[發明專利]一種基于深度學習的焊點圖像檢測方法

有效

• 申請號: 201710818297.6
• 申請日: 2017-09-12
• 公開（公告）號: CN107610111B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 王剛;樊嬋;隋莉斌
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/60;G06T7/11;G06T7/136;G06T7/13;G06T5/00;G06T5/50
• 代理公司: 42222 武漢科皓知識產權代理事務所(特殊普通合伙)
• 代理人: 王琪

本發明涉及一種基于深度學習的焊點圖像檢測方法，包括以下步驟：步驟1，對焊點圖像劃分有效子區域；步驟2，對子區域圖像進行預處理，得到對應子區域圖像的二值圖；步驟3，對每個子區域圖像對應的二值圖進行第一步識別，獲得疑似焊點區域，步驟4，利用深度學習網絡對疑似焊點區域進行識別若步驟4沒有疑似焊點區域則結合二值圖和原圖進行滑窗識別，步驟5，識別結果判斷，若經過以上4步能識別到焊點則待識別區域有焊點，若以上步驟均不能識別到焊點則待識別區域沒有焊點。本發明的處理方法既在一定程度上減小了滑窗的計算量，又通過雙重驗證提高了檢測的精度，本發明方法比傳統單一檢測的方法有更優地魯棒性。

技術領域

本發明屬于圖像檢測領域，特別是涉及一種基于深度學習的焊點圖像檢測方法。

背景技術

在沖壓件人工焊接的生產線上，由于焊接工藝的不成熟，往往會導致虛焊、漏焊、過焊等現象，對于比較復雜的工件，尤其有多個面，每個面上都有幾個焊點的情況，漏焊的概率更大，目前的檢測方式基本都是采用人工檢測，這樣大大增加了工人的工作量，而使得工作效率低下。傳統的圖像檢測方法對多角度焊點圖像都需要通過相機標定對每個角度的圖像進行矯正，然后通過圖像定位和模板匹配的方法來檢測，且抗干擾能力比較差，容易出現漏檢或錯檢的情況；或通過滑窗、特征提取及分類器識別相結合的方法來進行識別，該方法計算量大，識別的精度完全依賴提取的特征是否合適、分類器參數是否調好。

發明內容

本發明針對現有技術的不足，提供一種基于深度學習的鋼板焊點檢測方法。

為了達到上述目的，本發明提供的技術方案是一種基于深度學習的鋼板焊點檢測方法，包括以下步驟：

步驟1，對焊點圖像劃分有效子區域；

步驟2，對子區域圖像進行預處理，得到對應子區域圖像的二值圖；

步驟3，對每個子區域圖像結合對應的二值圖進行第一步識別，包括以下子步驟，

步驟3.1，對二值圖進行邊界去噪橢圓檢測，實現方式如下，

首先，提取二值圖像的外輪廓，按逆時針方向對提取的外輪廓做多邊形擬合，將每條擬合的線段矢量化，得到向量分別通過計算兩向量與基準向量(1,0)之間的夾角α_i-1和α_i，得到兩相鄰矢量的夾角θ＝α_i-α_i-1，若夾角θ在一定范圍之內，則保留，得到一條有效曲線段；

其次，對每條曲線段進行最小二乘橢圓擬合，得到一個橢圓方程，根據曲線段上所有點到對應的橢圓方程的平均距離作為誤差判斷依據，若誤差小于設置參數ε₁，則該曲線段為有效弧線；

最后，將誤差最小的前三位中曲線最長的一段有效弧作為基準弧線，依次加入其它有效弧線，直到加入所有有效弧線，最終通過最小二乘橢圓擬合得到一個最佳橢圓方程；

步驟3.2，計算最佳橢圓方程的長軸a、短軸b，若滿足γ₁<a<γ₂、γ₃<b<γ₄、進入步驟3.3的處理；

步驟3.3，提取二值圖像的內輪廓，以步驟3.2中得到的最佳橢圓為外邊界、二值圖像的內輪廓為內邊界構建橢圓環，將外邊界按一定比例擴大得到一外圍，設外圍與外邊界之間的區域對應原圖的像素均值為V₁，橢圓環區域對應原圖的像素均值為V₂，內邊界包圍區域對應原圖的像素均值為V₃，令Δ₁＝V₁-V₂，Δ₂＝V₃-V₂，若Δ₁和Δ₂均大于某一閾值φ，則標記最佳橢圓的外接矩形區域為疑似焊點區域；