[發明專利]一種基于三重損失網絡的竹條表面缺陷檢測方法

有效

• 申請號: 201911029088.9
• 申請日: 2019-10-28
• 公開（公告）號: CN110766681B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 劉文哲;楊和;黃炳城;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于三重損失網絡的竹條表面缺陷檢測方法，其特征在于，包括如下步驟：

步驟S1、通過安裝在竹條分選機器人上的相機采集竹條表面缺陷數據，形成竹條表面缺陷數據集；

步驟S2、訓練階段：竹條表面缺陷數據集中的圖像I(x)經過三重損失網絡訓練得到錨點預測矩陣、尺寸預測矩陣和熱力圖預測矩陣；

步驟S3、計算錨點預測矩陣損失、尺寸預測矩陣損失和熱力圖預測矩陣損失，得到三重損失網絡更新的總損失；

步驟S4、基于步驟S3計算得到的三重損失網絡更新的總損失不斷更新并優化獲得最優的卷積權值參數和偏置參數；

步驟S5、將竹條表面缺陷數據集中的圖像I(x)通過基于最優參數的三重損失網絡，得到錨點預測矩陣和尺寸預測矩陣，而后經處理即可得到檢測的目標缺陷所屬類別和大小；

所述步驟S2具體實現如下：

步驟S21、初始階段：輸入圖像I(x)進行卷積運算和激活函數運算得到其對應的第1層輸出結果F_i,n(I(x))，其計算公式是：

F_i，n(I(x))＝max(W₁²*F₁¹(I(x))+b₁²，0)，i＝1，n＝1；

上述式子中，W11和分別是三重損失網絡第一層網絡中第一個卷積的卷積權值參數和偏置參數；W₁²和b₁²分別是三重損失網絡第一層網絡中第二個卷積的卷積權值參數和偏置參數；

步驟S22、多尺度特征提取階段：將第i(i∈[1,2,3,4])階段提取的卷積特征輸入到由n(n∈[2,4,8,16])個3×3×c₁(c₁∈[32,64,128,256])和1×1×c₂(c₂∈[64,128,256,512])卷積核組成的卷積層組，得到第i+1個階段的卷積特征，然后將第i階段提取的卷積特征通過跨越連接與第i+1個階段的卷積特征融合，最后將第i+1階段融合的卷積特征通過一個步長為2，3×3×c₃(c₃∈[128,256,512])卷積核進行下采樣，其計算公式如下：

上述式子中，分別是第i+1個階段的3×3×c₁卷積層、1×1×c₂卷積層和3×3×c₃卷積層的卷積權值參數，分別是第i+1個階段的3×3×c₁卷積層、1×1×c₂卷積層和3×3×c₃卷積層的偏置參數，和F_i+1,n(I(x))分別是第i+1個階段的3×3×c₁卷積層、1×1×c₂卷積層、跨越連接和3×3×c₃卷積層的輸出結果；

步驟S23、上采樣階段：上采樣階段由3個洗牌模塊和2個上采樣操作組成，該階段具體實現過程為：將第i(i∈[5,6,7])階段的輸出卷積特征輸入到由2個1×1×c₁(c₁∈[512,512,128])卷積，1個通道洗牌操作，2個3×3×c₂(c₂∈[1024,512,256])卷積組成的洗牌模塊里；其中第i(i∈[5,6])階段的輸出卷積特征會經過一個3×3×c₃(c₃∈[512,256])反卷積，得到的卷積特征與第j(j∈[4,5])階段的輸出卷積特征進行堆疊操作，得到第i+1階段的卷積特征輸出，其計算公式如下：

上述式子中，和和分別是第i+1個階段的1×1×c₁卷積層和3×3×c₂卷積層的卷積權值參數，和和分別是i+1個階段1×1×c₁卷積層、3×3×c₂卷積層的偏置參數；和分別是第i+1個階段的3×3×c₃反卷積層的卷積權值參數和偏置參數；g是通道洗牌操作；是第i+1(i∈[5,6])個階段的輸出結果，是第i+1(i＝7)個階段的輸出結果；

步驟S24、錨點預測階段：將多尺度特征提取網絡計算階段得到的卷積特征經過一個3×3×c₁(c₁＝512)的卷積得到的卷積特征作為兩個支路的輸入：一方面，該卷積特征先通過一次全局池化操作，然后經過兩次全連接操作，得到通道掩碼；另一方面，該卷積特征再經過一次3×3×c₂(c₂為目標類型數)的卷積操作得到錨點預測階段初始卷積特征；最后，通道掩碼與錨點預測階段初始卷積特征相乘，得到錨點預測矩陣，其計算公式如下：

上述式子中，和別是第9階段的3×3×c₁卷積層的卷積權值參數和偏置參數；GP是全局池化操作，FC¹和FC²是全連接層操作；MI(x)是通道掩碼；F₉²(I(x))是三重損失網絡得到的錨點預測矩陣；

步驟S25、尺寸預測階段：將多尺度特征提取階段得到的卷積特征，依次經過1次3×3×c₁(c₁＝512)可行變卷積，1次3×3×c₂(c₂＝256)卷積，1次3×3×c₃(c₃＝128)可行變卷積，1次3×3×c₄(c₄＝64)卷積，1次3×3×c₅(c₅＝3)可行變卷積，得到尺寸預測矩陣，其計算公式如下：

上述式子中，和分別是第10階段可形變卷積層的卷積權值參數和偏置參數；和分別是第10階段3×3卷積層的卷積權值參數和偏置參數；是三重損失網絡得到的尺寸預測矩陣；

步驟S26、熱力圖預測階段：將多尺度特征提取階段得到的卷積特征，依次經過1次3×3×c₁(c₁＝512)卷積，1次1×1×c₂(c₂＝256)卷積，1次3×3×c₃(c₃＝128)卷積，1次1×1×c₄(c₄＝64)卷積，1次3×3×c₅(c₅＝3)卷積，得到熱力圖預測矩陣，其計算公式如下：

上述式子中，和分別是第11階段3×3卷積層的卷積權值參數和偏置參數；和分別是第11階段1×1卷積層的卷積權值參數和偏置參數；是三重損失網絡得到的熱力圖預測矩陣。