[發明專利]一種基于深度學習目標檢測算法的焊點質量檢測方法及其實現系統

在審

• 申請號: 201811423925.1
• 申請日: 2018-11-27
• 公開（公告）號: CN109584227A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 李響;吳雨林;周洪超
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

1.一種基于深度學習目標檢測算法的焊點質量檢測方法，其特征在于，包括步驟如下：

(1)采集數據并進行前期預處理：采集圖片中每一個焊點的位置和類別，對圖片中每一個焊點的位置和類別進行標注，并對圖片統一尺寸大小；

(2)對步驟(1)預處理后的圖片提取特征；

(3)利用RPN網絡自動生成多個建議區域，并映射到深度卷積神經網絡模型最后一層的特征圖上；

(4)篩選并生成固定尺寸的特征圖；

(5)將步驟(4)篩選并生成的固定尺寸的特征圖送入邊界回歸網絡及分類器，得到焊點的位置與類別，以提示檢測人員是否對電路板進行重新加工。

2.根據權利要求1所述的一種基于深度學習目標檢測算法的焊點質量檢測方法，其特征在于，所述步驟(1)中，采集數據并進行前期預處理，包括步驟如下：

A、拍攝獲取大量生產線上包含焊點部分的分辨率為600-1200的器件圖片；

B、對于每張圖片中的每一個焊點，用將焊點完全包含大小合適的方框標注其位置，每一個焊點的位置由四個參數表示，即(x,y,w,h)；以圖片左下角為原點，圖片的左邊框為x軸，圖片的下邊框為y軸建立坐標系，(x,y)表示方框左上角頂點在坐標系中的坐標位置，w表示方框的寬度，h表示方框的長度；

C、標注每一個焊點所屬類別，類別包括OK、DL、XH、LH四種，OK表示通過，DL表示短路，XH表示虛焊，LH表示漏焊，將每一個焊點的位置和類別保存到一個文件中，并與該焊點所在的圖片對應；

D、將步驟C中得到的標注好的焊點所在的圖片調整成統一尺寸大小M¹×N¹，M¹的取值范圍為600-800，N¹的取值范圍為800-1066，單位為像素，記錄縮放比例，并按照相同比例縮放方框尺寸，以保證對應關系；

進一步優選的，M¹＝600，N¹＝800。

3.根據權利要求1所述的一種基于深度學習目標檢測算法的焊點質量檢測方法，其特征在于，所述步驟(2)中，對步驟(1)預處理后的圖片提取特征，包括：

通過深度神經網絡模型ResNet50提取圖像特征，深度神經網絡模型ResNet50共有50層，包括49層卷積層和1層全連接層，49層卷積層包括5個卷積部分，第4個卷積部分輸出的特征圖大小為38×50；卷積層輸出的特征圖的定義如式(Ⅰ)所示：

式(Ⅰ)中，表示第l層第j個特征圖，表示第l-1層第i個特征圖，表示第l層的卷積核，表示第l層的偏置，表示跳過n層形成的殘差塊，w_s為學習變量，使和維度保持一致，f為激活函數，*表示卷積運算；M為第l-1層的特征圖數；

卷積層輸出的特征圖尺寸的定義如式(Ⅱ)所示：

式(Ⅱ)中，W為輸入圖像尺寸，F為卷積核尺寸，S表示步幅，P代表填充數，輸出特征圖的尺寸為N×N。