[發明專利]電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法

有效

• 申請號: 202011138348.9
• 申請日: 2020-10-22
• 公開（公告）號: CN112017183B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 趙壯;韓靜;陸駿;張毅
• 申請（專利權）人: 南京知譜光電科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G01N21/25;G01N21/84
• 代理公司: 南京蘇創專利代理事務所(普通合伙) 32273
• 代理人: 鳳婷

本發明公開了一種電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，屬于人工智能技術領域，利用電弧光譜信息和電弧圖像信息的同步采集，并且在采集過程中引入深度學習模型，根據數據具體類型設計不同的網絡結構，進行信息數據的特征提取、多源融合以及回歸，以定量檢測焊絲成分，實現焊接過程的質量監測。本發明基于電弧光譜和圖像的多源信息融合焊絲成分定量檢測技術，實現了焊接過程元素含量的實時監測以及缺陷預警和成因定位，利用FPGA在每個焊接周期內的電流峰值時刻同時觸發光譜儀和CCD相機，實現電弧光譜和圖像信息的同步采集，并引入深度學習到本技術中，實現對焊絲成分的定量檢測，檢測效果好，結果精確。

技術領域

本發明涉及一種電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，屬于人工智能技術領域。

背景技術

焊接電弧是一個能反映焊接質量的重要物理量，與焊縫內部缺陷的產生有著本質的關系，具有信息豐富、靈敏度高和抗干擾能力強等優點。熔焊中焊絲有兩種作用，既是填充金屬也是導電電極，電弧光譜反映了電弧內部的粒子成分和濃度等信息，這些粒子絕大多數為焊絲的成分。而使用不同成分的焊絲焊接時電弧形態存在著差異，實現對焊絲成分的定量檢測，進而實現焊接過程質量監測，是亟待解決的問題。

發明內容

為了解決上述技術問題，本發明公開了一種電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，主要是利用電弧光譜信息和電弧圖像信息的同步采集，并且在采集過程中引入深度學習模型，根據數據具體類型設計不同的網絡結構，進行信息數據的特征提取、多源融合以及回歸，以定量檢測焊絲成分，實現焊接過程的質量監測。

在焊接過程中，利用至少兩種絲材進行數據采集，將不同焊絲的絲材成分信息作為每個數據樣本的真值，用于所述深度學習模型的訓練，并同步控制并記錄保護氣流量作為每個數據樣本的真值，用于所述深度學習模型的訓練；

所述網絡結構具體為一種分模塊可訓練的多模態網絡ISFNet，包括數據采集網絡和數據融合網絡，所述數據采集網絡分別提取圖像信息和光譜信息的數據特征，所述數據融合網絡結合光譜信息和圖像信息特征來表征絲材成分和保護氣流量，利用標記的真值進行網絡聯合優化，并且利用標準均方誤差損失函數NMSE來解決網絡訓練過程中因數據真值量級不均衡引起的問題；

光譜分支網絡以深度學習網絡AlexNet為基礎進行改動，具體改動為，將網絡輸入數據的維度改為1，將卷積核大小從二維結構3×3改為1×3，將網絡第一層中的卷積核大小從11×11改為1×5，步長從4改為2，在深度學習網絡AlexNet中將LRN層改為BN層，并通過BN層利用隱藏層輸出的結果的均值μ和方差σ2來標準化每一層特征的分布，具體計算如公式（1）所示，

式中：代表特征圖，代表特征圖上的每個像素點，c代表特征圖所在的維度，N代表樣本量，H代表特征圖的高度，W代表特征圖的寬度，代表N個樣本所對應的特征圖的平均值，代表N個樣本所對應的特征圖的方差，為大于0的常數，防止出現等于零的情況，代表BN操作過后的結果，表示縮放參數，表示偏移參數，表示訓練時BN層利用隱藏層輸出的結果的均值，

預測時利用μ和的無偏估計量來進行BN操作，表示訓練時BN層利用隱藏層輸出的結果的方差。

進一步的，利用所述光譜儀、透鏡和減光片采集電弧光譜信息，利用所述CCD相機、35mm鏡頭和減光片采集圖像信息，所述CCD相機型號為Basler acA 1920-155um，所述光譜儀型號為常暉CH2000微型光纖光譜儀，并利用現場可編程門陣列FPGA在每個焊接周期內的電流峰值時刻同時觸發光譜儀和CCD相機，同步采集上述兩種信息數據。