[發明專利]一種基于深度學習的焊點圖像檢測方法

有效

• 申請號: 201710818297.6
• 申請日: 2017-09-12
• 公開（公告）號: CN107610111B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 王剛;樊嬋;隋莉斌
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/60;G06T7/11;G06T7/136;G06T7/13;G06T5/00;G06T5/50
• 代理公司: 42222 武漢科皓知識產權代理事務所(特殊普通合伙)
• 代理人: 王琪

1.一種基于深度學習的焊點圖像檢測方法，其特征在于，包括如下步驟：

步驟1，對焊點圖像劃分有效子區域；

步驟2，對子區域圖像進行預處理，得到對應子區域圖像的二值圖；

步驟3，對每個子區域圖像結合對應的二值圖進行第一步識別，包括以下子步驟，

步驟3.1，對二值圖進行邊界去噪橢圓檢測，實現方式如下，

首先，提取二值圖像的外輪廓，按逆時針方向對提取的外輪廓做多邊形擬合，將每條擬合的線段矢量化，得到向量分別通過計算兩向量與基準向量(1,0)之間的夾角α_i-1和α_i，得到兩相鄰矢量的夾角θ＝α_i-α_i-1，若夾角θ在一定范圍之內，則保留，得到一條有效曲線段；

其次，對每條曲線段進行最小二乘橢圓擬合，得到一個橢圓方程，根據曲線段上所有點到對應的橢圓方程的平均距離作為誤差判斷依據，若誤差小于設置參數ε₁，則該曲線段為有效弧線；

最后，將誤差最小的前三位中曲線最長的一段有效弧作為基準弧線，依次加入其它有效弧線，直到加入所有有效弧線，最終通過最小二乘橢圓擬合得到一個最佳橢圓方程；

步驟3.2，計算最佳橢圓方程的長軸a、短軸b，若滿足γ₁<a<γ₂、γ₃<b<γ₄、進入步驟3.3的處理；

步驟3.3，提取二值圖像的內輪廓，以步驟3.2中得到的最佳橢圓為外邊界、二值圖像的內輪廓為內邊界構建橢圓環，將外邊界按一定比例擴大得到一外圍，設外圍與外邊界之間的區域對應原圖的像素均值為V₁，橢圓環區域對應原圖的像素均值為V₂，內邊界包圍區域對應原圖的像素均值為V₃，令Δ₁＝V₁-V₂，Δ₂＝V₃-V₂，若Δ₁和Δ₂均大于某一閾值φ，則標記最佳橢圓的外接矩形區域為疑似焊點區域；

步驟4，利用深度學習網絡對疑似焊點區域進行識別，針對步驟3沒有檢測到疑似焊點的子區域，以其二值圖像所有連通域為模板，尋找連通域的左上角點和右下角點，形成一個包含整個連通域的ROI區域，以ROI區域的每個像素點為候選框中心點，按半徑為r、步長ω進行滑窗搜索，將每一候選框圖像作為深度學習網絡的輸入，獲得識別結果；

步驟5，識別結果判斷，若經過以上4步能識別到焊點則待識別區域有焊點，若以上步驟均不能識別到焊點則待識別區域沒有焊點。

2.如權利要求1所述的一種基于深度學習的焊點圖像檢測方法，其特征在于：所述步驟2的實現方式如下，

步驟2.1，對子區域原圖進行全局明暗分析，得到子區域圖像的偏差值τ₁和明暗值τ₂，其中偏差值τ₁和明暗值τ₂的計算過程如下，

其中，M、N為子區域圖像的長和寬，V_ij為點(i,j)的像素值，N_k表示子區域圖像在像素值k的像素個數；

當偏差值τ₁和明暗值τ₂在一定范圍內時，對子區域原圖做直方圖統計，若直方圖中像素值最大像素的個數大于或等于像素值第二大像素個數的2.5倍，則對子區域圖像作均值補償，若直方圖中像素值最大像素的個數小于像素值第二大像素個數的2.5倍，則不做均值補償，然后對處理后的圖像進行Retinex增強；當偏差值τ₁和明暗值τ₂不在上述范圍內時，則不對子區域原圖作任何處理，最終得到圖像A；

步驟2.2，通過步驟2.1中得到的偏差值τ₁和明暗值τ₂，若偏差值τ₁大于一定閾值，則對子區域原圖按一定參數值進行gamma增強，若偏差值τ₁小于或等于一定閾值，則不作處理，得到圖像B；

步驟2.3，融合圖像A和圖像B得到增強圖C；

步驟2.4，對增強圖C進行自適應閾值分割得到二值圖D；

步驟2.5，對二值圖D進行降噪處理。

3.如權利要求2所述的一種基于深度學習的焊點圖像檢測方法，其特征在于：所述步驟4中的深度學習網絡為VGG-16網絡。