[發明專利]電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法

有效

• 申請號: 202011138348.9
• 申請日: 2020-10-22
• 公開（公告）號: CN112017183B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 趙壯;韓靜;陸駿;張毅
• 申請（專利權）人: 南京知譜光電科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G01N21/25;G01N21/84
• 代理公司: 南京蘇創專利代理事務所(普通合伙) 32273
• 代理人: 鳳婷

1.電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：利用電弧光譜信息和電弧圖像信息的同步采集，并且在采集過程中引入深度學習模型，根據數據具體類型設計不同的網絡結構，進行信息數據的特征提取、多源融合以及回歸，以定量檢測焊絲成分，實現焊接過程的質量監測；

在焊接過程中，利用至少兩種絲材進行數據采集，將不同焊絲的絲材成分信息作為每個數據樣本的真值，用于所述深度學習模型的訓練，并同步控制并記錄保護氣流量作為每個數據樣本的真值，用于所述深度學習模型的訓練；

所述網絡結構具體為一種分模塊可訓練的多模態網絡ISFNet，包括數據采集網絡、數據融合網絡和光譜分支網絡，所述數據采集網絡分別提取圖像信息和光譜信息的數據特征，所述數據融合網絡結合光譜信息和圖像信息特征來表征絲材成分和保護氣流量，利用標記的真值進行網絡聯合優化，并且利用標準均方誤差損失函數NMSE來解決網絡訓練過程中因數據真值量級不均衡引起的問題；

所述分模塊可訓練的多模態網絡ISFNet以ResNet-34為基礎進行改進，將輸入數據維度改為1，將網絡第一層卷積核大小從7×7改為5×5，將特征輸出層的輸出維度數改為1000，值為實數；

光譜分支網絡以深度學習網絡AlexNet為基礎進行改動，具體改動為，將網絡輸入數據的維度改為1，將卷積核大小從二維結構3×3改為1×3，將網絡第一層中的卷積核大小從11×11改為1×5，步長從4改為2，在深度學習網絡AlexNet中將LRN層改為BN層，并通過BN層利用隱藏層輸出的結果的均值μ和方差來標準化每一層特征的分布，具體計算如公式（1）所示，

式中：代表特征圖，代表特征圖上的每個像素點，c代表特征圖所在的維度，N代表樣本量，H代表特征圖的高度，W代表特征圖的寬度，代表N個樣本所對應的特征圖的平均值， 代表N個樣本所對應的特征圖的方差，為大于0的常數，防止出現等于零的情況， 代表BN操作過后的結果，表示縮放參數，表示偏移參數，表示訓練時BN層利用隱藏層輸出的結果的均值，

預測時利用μ和的無偏估計量來進行BN操作，表示訓練時BN層利用隱藏層輸出的結果的方差。

2.根據權利要求1所述的電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：利用光譜儀、透鏡和減光片采集電弧光譜信息，利用CCD相機、35mm鏡頭和減光片采集圖像信息，所述CCD相機型號為Basler acA 1920-155um，所述光譜儀型號為常暉CH2000微型光纖光譜儀，并利用現場可編程門陣列FPGA在每個焊接周期內的電流峰值時刻同時觸發光譜儀和CCD相機，同步采集上述兩種信息數據。

3.根據權利要求1所述的電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：在光譜分支網絡中加入Inception模塊，將Inception模塊中的卷積核大小都改為一維，且將1×5的卷積用兩個1×3的卷積代替，池化層前增加一個1×1的卷積層，減少參數。

4.根據權利要求3所述的電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：在所述深度學習網絡AlexNet中，只保留一個全連接層輸出1000維光譜特征。

5.根據權利要求1所述的電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：將標準均方誤差損失函數NMSE進行改進，改進后如公式（2）所示：

式中：是預測結果，是真實結果，n為樣本數量，并將真實值為0的數據賦值為0.0001。

6.根據權利要求5所述的電弧圖像與電弧光譜信息協同的焊絲成分在線檢測方法，其特征在于：選用均方根誤差RMSE作為模型回歸結果的評價指標，具體計算方式如公式（3）所示，

均方根誤差RMSE值越小，表示模型回歸結果越好。