[發(fā)明專利]一種基于MobileNetV2的焊接狀態(tài)分類方法

在審

• 申請?zhí)枺?/td>: 202110221181.0
• 申請日: 2021-02-27
• 公開（公告）號: CN113033547A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 施云惠;祝彬;王瑾;尹寶才
• 申請（專利權）人: 北京工業(yè)大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于MobileNetV2的焊接狀態(tài)分類方法，包括普通卷積層、MobileNetV2基礎結構單元、池化層、全連接層、softmax層，其特征在于：采用熔池正、反面圖像對作為輸入，通過MobileNetV2基礎結構作為特征提取單元提取特征，搭建了一個基于MobileNetV2的焊接狀態(tài)分類模型；熔池單側特征提取模塊通過多個MobileNetV2基礎結構對熔池單側圖像分別提取深、淺層特征，將其融合之后再進行特征提取得到熔池單側特征；熔池正、反面圖像特征的融合操作由張量融合完成，之后再通過MobileNetV2基礎結構提取模塊，從而使網絡學習到更多熔池正、反面圖像對特征的相關性；本網絡模型的損失函數采用交叉熵損失函數，整個訓練過程采用隨機梯度下降法。

2.根據權利要求1所述的基于MobileNetV2的焊接狀態(tài)分類方法，其特征在于：深層特征提取網絡中，采用了多個直筒型特征提取結構、帶快捷連接的特征提取結構和不帶快捷連接的特征提取結構；初始特征圖通過該網絡模塊不斷壓縮、提取特征得到包含熔池輪廓特征的深層特征圖；淺層特征提取網絡中依然采用MobileNetV2的基礎結構進行淺層提取特征，在熔池淺層特征提取模塊中僅采用尺度縮小的直筒型特征提取模塊，不斷地對輸入特征圖尺寸進行壓縮；對此僅需堆疊基礎特征提取模塊即可得到包含熔池細節(jié)特征的淺層特征圖；

在得到深層特征圖和淺層特征圖的基礎上，設計將其通過通道拼接方式將深層熔池輪廓特征與淺層熔池細節(jié)特征聚合得到新的特征圖，然后采用了一個卷積核為1x1的普通卷積層對新特征圖處理，為了更好地將深層和淺層特征融合，接下來使用平均池化層將特征圖降維成1維向量，最后再采用一個全連接操作進一步降低熔池單側圖像特征向量的維度；其中全連接降維時考慮到之后的張量積操作，該全連接層的輸出維度選取為55；

熔池反面圖像的特征提取網絡與正面設置完全相同，所以熔池兩側圖像分別通過深、淺層特征提取模塊，聚合以及進一步提取特征后得到了代表熔池兩側狀態(tài)的特征向量。

3.根據權利要求1所述的基于MobileNetV2的焊接狀態(tài)分類方法，其特征在于：在得到熔池兩側圖像的特征向量的基礎上，選用張量積方式得到融合后的張量；h_x代表提取到的熔池正面特征，h_y表示提取到的熔池反面特征，則每一個(h_x,h_y)被視為是被[1 h_x]^T和[1h_y]^T所構造的二維笛卡爾坐標系下的點，其在數學上等價于h_x和h_y之間的外積：

其中表示向量之間的外積，h_m表示三個語義不同的亞區(qū)域的熔池兩側圖像特征嵌入的所有可能組合的二維平面；首先兩個子區(qū)域分別是來自熔池單側圖像特征的提取h_x和h_y，其次另一子區(qū)域捕獲熔池兩側特征交互作用；

通過以上的張量融合操作之后，得到了一個高度融合了熔池兩側特征的張量；再將其送入由采樣步長為2的特征提取模塊和采樣步長為1、不帶快捷連接的特征提取模塊交替堆疊組成的特征再提取結構，對融合后的張量進行壓縮、整合，得到再提取的特征圖，然后再通過一個平均池化層將特征圖降維成多維特征向量，最后再通過全連接層和sofmax對特征向量進一步降維以及對焊接狀態(tài)的決策。

4.根據權利要求1所述的基于MobileNetV2的焊接狀態(tài)分類方法，其特征在于：采用全連接層和sofmax層對得到的多維特征向量進一步降維以及對焊接狀態(tài)的分類；其中softmax的數學計算如下：

其中，e為自然常數，M表示熔池狀態(tài)的類別數量，V表示經全連接層之后得到的三維向量，V_i表示V中的第i個元素，S_i表示的是這個元素的softmax值，j表示的是元素的個數；Softmax函數將三維的實數向量壓縮成另一個三維的實數向量，其中向量中的每個元素取值都介于0與1之間，最后的softmax值也是網絡對焊接狀態(tài)預測的概率；

損失函數采用交叉熵損失函數，用來評估當前訓練得到的概率分布與真實分布的差異情況，其刻畫的是實際輸出概率與期望輸出概率的距離，也就是交叉熵的值越小，兩個概率分布就越接近；其數學表示如下式：

其中，N表示樣本數量；M表示熔池狀態(tài)的類別數量；L_i表示第i個樣本的損失函數值；q_i,j表示第i個觀測樣本的真實類別是否是j，是則為1，否則為0；p_i,j表示第i個觀測樣本屬于類別j的預測概率；

訓練方法采用隨機梯度下降方法，最小化上述的損失函數；整個網絡在自建的焊接熔池正、反面數據集上進行訓練和測試；學習速率設為10^－2，動量參數設置為0.9，并采用3次損失不降則學習率減半的訓練方法訓練模型收斂較快，并設置10次損失不降則模型訓練停止的早停條件；采用keras深度學習框架，共進行100次迭代，網絡中所有參數均采用隨機初始化；

在提出的焊接狀態(tài)分類網絡模型中，將網絡模型所有模塊的全部初始參數記作δ⁰，網絡模型初始的分類預測值記作P⁰，初始損失函數輸出值記作L⁰；則通過梯度下降算法之后，第一次更新的網絡參數記作δ¹，第一次更新網絡參數之后得到的分類預測值記作P¹，損失函數輸出值記作L¹；再次通過梯度下降算法，第二次更新的網絡參數記作δ²，第二次更新網絡參數之后得到的分類預測值記作P²，損失函數輸出值記作L²……，以此類推，網絡參數會不斷更新，損失函數輸出值也會越來越小直至趨于穩(wěn)定，此時將達到早停條件或者達到最大迭代次數，模型停止訓練，將訓練過程中得到的損失函數輸出值最低的網絡參數作為網絡模型的最終參數，記作δ；則網絡的訓練過程如下：

1)隨機初始化焊接狀態(tài)檢測網絡參數δ⁰；

2)讀入焊接熔池正、反面數據并進行預處理；

3)通過焊接狀態(tài)檢測網絡計算得到類別預測值P⁰；

4)將類別預測值P⁰送入損失函數中計算得到損失輸出值L⁰；

5)利用SGD訓練模型并更新網絡參數為δ¹，計算得到新的預測值P¹，通過損失函數得到損失輸出值L¹；

6)利用SGD訓練模型并更新網絡參數為δ²，計算得到新的預測值P²，通過損失函數得到損失輸出值L²；

7)重復步驟5)－6)直至模型達到早停條件或者達到迭代設置上限，則視為模型收斂停止訓練，將損失函數輸出值最低的網絡參數作為模型的最終參數δ。