[發明專利]一種基于神經網絡目標檢測的廠區工裝檢測方法及系統

在審

• 申請號: 202210877409.6
• 申請日: 2022-07-25
• 公開（公告）號: CN115131339A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 林旭;李密;陳旭;陳佳期;唐光鐵;曾遠強;盧雨畋;周小報
• 申請（專利權）人: 福建省海峽智匯科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

1.一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，包括以下步驟：

S1、獲取多張工作服樣本圖像，對所述工作服樣本圖像標注標簽，將全部的所述工作服樣本圖像及其對應的標簽確定為訓練樣本數據集；

S2、將所述訓練樣本數據集按比例劃分為訓練集、驗證集和測試集；

S3、構建目標檢測模型：將所述訓練樣本數據集中的圖像輸入到backbone網絡中，根據所述backbone網絡中的三層輸出，在neck層通過Rep-PAN網絡繼續輸出三層不同尺寸大小的特征圖，將所述特征圖輸入到head層中，并且對所述特征圖進行三類任務預測；構建所述目標檢測模型的損失函數；

S4、將所述訓練集輸入到構建好的所述目標檢測模型中進行訓練，所述損失函數不斷迭代至收斂，獲得最優網絡權重，所述目標檢測模型通過所述驗證集進行預測，并通過所述測試集進行測試驗證；以及

S5、設置固定閾值，并根據所述固定閾值輸出目標檢測結果。

2.根據權利要求1一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，在步驟S3中，將所述訓練樣本數據集中的圖像輸入到backbone網絡中，包括以下子步驟：

S311、輸入640*640*3的所述訓練樣本數據集中的圖像到所述backbone網絡中，通過stem層輸出為320*320*3*2的圖像；

S312、所述stem層連接多個ERBlock，每個所述ERBlock均做特征層的下采樣和channel的增大，每個所述ERBlock由一個RVB和一個RB組成，在所述RVB中做特征層的下采樣，同時channel增大，在所述RB中對特征層充分融合后輸出；以及

S313、最后，所述backbone網絡輸出三個特征圖。

3.根據權利要求1一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，在步驟S3中，在neck層通過Rep-PAN網絡繼續輸出三層不同尺寸大小的特征圖，包括以下子步驟：

S321、從ERB5輸出20*20*512的特征圖，通過SConv將所述特征圖變成20*20*128大小，上采樣后真實框高度h和真實框寬度w增大一倍后與ERB4的輸出特征圖在channel層上進行特征融合后，所述特征圖的尺寸變成40*43*84，通過RB后，輸出40*40*128特征圖；

S322、重復執行步驟S321后，輸出第一個所述特征圖；

S323、將80*80*64的特征圖先通過所述SConv下采樣，得到40*40*64的特征圖，與步驟S321中的真實框高度h和真實框寬度w一致的特征圖在channel層上特征融合后，通過RB后，輸出第二個所述特征圖；以及

S324、重復執行步驟S323，輸出第三個所述特征圖。

4.根據權利要求1一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，在步驟S3中，將所述特征圖輸入到head層中，并且對所述特征圖進行三類任務預測，包括以下子步驟：

S331、從neck層輸出三個分支，對于每個分支，先對輸出的所述特征圖通過BConv層，進行所述特征圖的特征融合；

S332、對步驟S331中進行所述特征圖的特征融合后，分成兩個分支，一個分支通過BConv+Conv完成分類任務的預測，另外一個分支先通過BConv融合特征后再分成兩個分支，一個分支通過Conv完成邊框的回歸，另一個分支通過Conv完成前后背景的分類；以及

S333、三個分支再通過channel層進行特征融合，輸出預測結果。

5.根據權利要求1一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，在步驟S120中，將所述訓練樣本數據集按8:1:1的比例劃分為訓練集、驗證集和測試集。

6.根據權利要求1一種基于神經網絡目標檢測的廠區工裝檢測方法，其特征在于，在步驟S3中，所述損失函數為SIOU損失函數，表達式為：

SIOU＝DIOU+βv

其中，DIOU是距離損失函數，β是權重系數，v用來衡量預測框和真實框之間的長寬比的相似性；

其中，w、h分別是預測框和真實框對應的寬度和高度。