[發明專利]一種基于深度神經網絡的布匹疵點檢測方法和系統

有效

• 申請號: 202010179203.7
• 申請日: 2020-03-14
• 公開（公告）號: CN111462051B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 孫志剛;劉文龍;張凱;肖力;王卓
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種基于深度神經網絡的布匹疵點檢測方法，其特征在于，該方法包括以下步驟：

S1.使用疵點布匹圖像訓練集訓練深度神經網絡模型，訓練樣本的標簽為疵點類型和真實框位置信息，所述深度神經網絡模型由主干網絡和檢測網絡構成，所述主干網絡用于從疵點布匹圖像中提取三個尺度不同的特征圖；每個檢測子網絡的主體是一個Dense set結構；所述檢測網絡包括：三個結構相同的檢測子網絡和一個檢測結果融合模塊，第i個檢測子網絡用于從第i個尺度的特征圖中檢測出疵點類型和預測框的位置信息，每個檢測子網絡由三個密集連接塊組成，通過密集塊之間的特征通道連接加強特征傳遞，所述檢測結果融合模塊用于根據預測框和真實框的交并比和中心距，對三個預測結果進行非極大值抑制，得到最終的預測框和對應疵點類型，i＝1,2,3；

S2.將待測布匹輸入訓練好的深度神經網絡模型，得到布匹疵點檢測結果；

每個密集連接塊由三路輸出組成，第一路為1個第一Convolutional結構，第二路為2個第一Convolutional結構級聯，第三路為3個第一Convolutional結構級聯，在經過三路Convolutional結構之前，使用1個第二Convolutional結構進行特征通道壓縮，形成Bottleneck結構。

2.如權利要求1所述的布匹疵點檢測方法，其特征在于，Convolutional結構由卷積層、批歸一化層和激活層組成，將卷積層與批歸一化層合并。

3.如權利要求2所述的布匹疵點檢測方法，其特征在于，非極大值抑制的衡量指標如下：

其中，iou表示真實框與預測框之間的交并比，x_p、y_p表示預測框中心的橫坐標和縱坐標，x_t、y_t表示真實框中心的橫坐標和縱坐標，C表示能夠同時覆蓋預測框和真實框的最小矩形的對角線距離，β表示縮放因子。

4.如權利要求1至3任一項所述的布匹疵點檢測方法，其特征在于，訓練時的損失函數如下：

LOSS_總＝LOSS_置+LOSS_定+LOSS_分，

LOSS_置＝-α₁(1-p_t)²ln p

其中，LOSS_置、LOSS_定、LOSS_分分別為目標置信度損失、目標定位損失和目標分類損失，α₁表示平衡因子，正樣本時p_t＝p，負樣本時p_t＝1-p，p表示網絡輸出經過sigmoid激活函數之后的值，iou表示真實框與預測框之間的交并比，x_p、y_p表示預測框中心的橫坐標和縱坐標，x_t、y_t表示真實框中心的橫坐標和縱坐標，C表示能夠同時覆蓋預測框和真實框的最小矩形的對角線距離，表示平衡比例，v表示預測框與真實框的長寬比，o_jk表示第j個目標框是否屬于第k類，屬于為1，不屬于為0，c表示網絡輸出經過sigmoid激活函數之后的值。

5.如權利要求4所述的布匹疵點檢測方法，其特征在于，其中，w^gt表示真實框的寬，h^gt表示真實框的高，w表示預測框的寬，h表示預測框的高。

6.如權利要求1所述的布匹疵點檢測方法，其特征在于，疵點布匹圖像訓練集采用以下至少一種增強方式：恒等變換、X方向剪切、Y方向剪切、X方向平移、Y方向平移、旋轉、對比度拉伸規范化、一定幾率像素取反、直方圖均衡化、曝曬、減少顏色通道位數、圖像彩色化、隨機亮度增強和圖像銳化，每次隨機從所有增強方式中選出K個算法組成一串操作進行圖像增強，控制失真強度為M，通過調節參數K和M，控制數據增強效果。

7.一種基于深度神經網絡的布匹疵點檢測系統，其特征在于，該系統包括：

訓練模塊，用于使用疵點布匹圖像訓練集訓練深度神經網絡模型，訓練樣本的標簽為疵點類型和真實框位置信息，所述深度神經網絡模型由主干網絡和檢測網絡構成，所述主干網絡用于從疵點布匹圖像中提取三個尺度不同的特征圖；所述檢測網絡包括：三個結構相同的檢測子網絡和一個檢測結果融合模塊，第i個檢測子網絡用于從第i個尺度的特征圖中檢測出疵點類型和預測框的位置信息，每個檢測子網絡的主體是一個Dense set結構；每個檢測子網絡由三個密集連接塊組成，通過密集塊之間的特征通道連接加強特征傳遞，所述檢測結果融合模塊用于根據預測框和真實框的交并比和中心距，對三個的預測結果進行非極大值抑制，得到最終的預測框和對應疵點類型，i＝1,2,3；

檢測模塊，用于將待測布匹輸入訓練好的深度神經網絡模型，得到布匹疵點檢測結果；

每個密集連接塊由三路輸出組成，第一路為1個第一Convolutional結構，第二路為2個第一Convolutional結構級聯，第三路為3個第一Convolutional結構級聯，在經過三路Convolutional結構之前，使用1個第二Convolutional結構進行特征通道壓縮，形成Bottleneck結構。