[發明專利]一種針對復合材料鋪放缺陷識別定位系統

在審

• 申請號: 202210406984.8
• 申請日: 2022-04-18
• 公開（公告）號: CN114913129A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 張勇德;王瑋;郭中華;何大亮;呂小兵;郝靜怡;冀陽春
• 申請（專利權）人: 中航西安飛機工業集團股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06V10/74;G06V10/764;G06V10/774
• 代理公司: 中國航空專利中心 11008
• 代理人: 杜永保

1.一種針對復合材料鋪放缺陷識別定位系統，包含工業攝像機、后臺分析服務器、系統客戶端，其特征在于，所述的工業攝像機實時采集復合材料鋪放過程中的實時鋪絲圖像，通過有線網絡設備將實時鋪絲圖像發送至后臺分析服務器，后臺分析服務器配置有復合材料鋪放缺陷智能識別算法平臺，后臺分析服務器針對實時鋪絲圖像進行缺陷分析，并將有鋪放缺陷的鋪絲圖像實時反饋至客戶端，包括以下步驟：

S1：利用鋪絲機上的工業攝像機實時收集鋪絲圖像，對實時收集的鋪絲圖像人工篩選出鋪絲缺陷圖像，對每一張鋪絲缺陷圖像中的鋪絲缺陷進行分類定位標注，建立復合材料鋪絲缺陷圖像數據集；

S2：搭建復合材料的鋪絲缺陷識別模型，利用復合材料鋪絲缺陷圖像數據集對鋪絲缺陷識別模型進行訓練，訓練時加入圖像預處理和數據增強模塊，提升鋪絲缺陷識別模型的泛化性；

S3：根據現場鋪絲過程中對缺陷檢測速度的要求，對鋪絲缺陷識別模型進行壓縮，計算鋪絲缺陷識別模型中每層網絡輸出特征通道的相似度，用以判斷并剪枝相似冗余特征通道，獲得輕量化鋪絲缺陷識別模型；

S4：對輕量化鋪絲缺陷識別模型再通過復合材料鋪絲缺陷圖像數據集進行訓練，直至鋪絲缺陷識別模型訓練損失值收斂，得到最終的鋪絲缺陷識別模型；

S5：采用最終的鋪絲缺陷識別模型，對復合材料鋪放過程中的實時鋪絲圖像進行鋪絲缺陷識別，并將識別結果包括缺陷類型與缺陷定位坐標實時反饋至客戶端顯示。

2.根據權利要求1所述的針對復合材料鋪放缺陷識別定位系統，其特征在于，所述的復合材料鋪放缺陷智能識別算法平臺，含有圖像處理模塊、模型輕量化模塊、缺陷識別定位模塊；所述的圖像處理模塊，包括圖像增強和預處理模塊，提升網絡的泛化性能并統一輸入圖像分辨率；所述的模型輕量化模塊，用于滿足現場檢測速度和精度需求，對鋪絲缺陷識別模型訓練時，進行特征通道相似度冗余判斷并剪枝，獲得輕量化鋪絲缺陷識別模型；所述的缺陷識別定位模塊用于實現對實時鋪絲圖像中的缺陷進行多尺度目標的分類和定位，得到最終的缺陷檢測結果。

3.根據權利要求1所述的針對復合材料鋪放缺陷識別定位系統，其特征在于，步驟S2中，搭建復合材料的鋪絲缺陷識別模型時，鋪絲缺陷識別模型以鋪絲機上的工業攝像機拍攝的整個圖像作為網絡輸入數據，鋪絲缺陷識別模型基于目標識別YOLOv5框架，并在模型中引入自注意力機制SENet模塊，提升模型在訓練中對缺陷目標區域的特征表達能力并生成更有效的特征，圖像預處理模塊包括將采集的原始圖像以640×640像素的規格進行縮放，并進行歸一化處理，圖像增強模塊包括空間反轉、鏡像、色彩增強。

4.根據權利要求1或2或3所述的針對復合材料鋪放缺陷識別定位系統，其特征在于，步驟S3中，根據現場檢測速度要求，對鋪絲缺陷識別模型進行壓縮時，利用基于特征相似度剪枝的模型壓縮技術，以余弦相似性度量方法對每層網絡每個輸出通道中具有高相似性的特征通道進行識別并剪枝，以第l層的輸出特征相似度判定為例，通過在其特征空間維度(H×W)上聚合特征圖，這里采用特征范數對該通道聚合，計算如下式：

x_l,i＝||F_l,i||₁

對聚合后的特征點簇進行聚類，以K-means對特征進行聚類，獲得劃分的K個簇，對每個簇群內的對應特征通道進行相似度衡量判定，以余弦相似性度量方法對每個簇群中具有高相似性的特征通道進行識別并剪枝，將尺寸為(C_out，batch×H×W)的特征通道F展平為尺寸(C_out，batch×H×W)的張量表示第l層的第i個特征圖，與之間的內積F_sum定義為：

式中，·表示內積。與之間的相似度定義為：

式中，代表向量l₂范數，相似度值位于區間[-1,1]，

為簡化計算，相似度歸一化為：

S＝CSM×0.5+0.5

式中，相似度S值的區間為[0,1]。S值越大，特征通道間的相似度越高。

5.根據權利要求1所述的針對復合材料鋪放缺陷識別定位系統，其特征在于，步驟S1中，所述的鋪絲缺陷包含在復合材料鋪絲機的自動鋪放過程中，出現的間隙/搭接、外來物、褶皺、架橋、缺絲、翻邊、氣泡現象，由人工對每一種鋪絲缺陷進行分類定位標注，建立復合材料鋪絲缺陷圖像數據集。