[發明專利]一種基于YOLACT++車身表面損傷檢測及掩膜生成方法和存儲設備

有效

• 申請號: 202010839019.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112001294B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 林少丹;馮晨
• 申請（專利權）人: 福建船政交通職業學院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06V10/40;G06V10/764;G06V10/766;G06V10/774;G06V10/82;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 福州市景弘專利代理事務所(普通合伙) 35219
• 代理人: 林祥翔;魏小霞

1.一種基于YOLACT++車身表面損傷檢測及掩膜生成方法，其特征在于，包括步驟：

通過視頻數據采集并生成預設大小值的車體表面損傷區域圖像；

輸入所述預設大小值的車體表面損傷區域圖像至主干網絡中進行特征提取；

輸入提取的特征張量至PredictionHeader和ProtoNet兩個并行處理分支中處理；

通過ProtoNet對特征張量進行卷積操作生成目標原型掩膜；

通過PredictionHeader對所述目標原型掩膜進行操作生成對應掩膜系數，及圈定所述目標原型掩膜的目標定位；

通過目標原型掩膜張量及掩膜系數計算出最優原型掩膜；

根據所述最優原型掩膜及所述目標原型掩膜的目標定位，分割出損傷區域；

在分割出的損傷區域上生成對應的掩膜；

所述主干網絡包括：EfficientNet-B0和FPN；

所述通過PredictionHeader對所述目標原型掩膜進行操作生成對應掩膜系數，及圈定所述目標原型掩膜的目標定位，還包括步驟：通過PredictionHeader生成每個anchor的掩膜系數的向量、分類向量和anchor-box向量，并通過Fast-NMS對anchor-box向量進行篩選處理，其中PredictionHeader分支用于預測出實例檢測時生成的每個anchor的掩膜系數的向量、分類向量和anchor-box向量，最后，經過Fast-NMS處理。

2.根據權利要求1所述的一種基于YOLACT++車身表面損傷檢測及掩膜生成方法，其特征在于，

所述通過ProtoNet對特征張量進行卷積操作生成目標原型掩膜，還包括步驟：通過全連接網絡生成預設大小值的原型掩膜，并與通過MaskIOU-Net生成的掩膜特征張量結合生成目標原型掩膜。

3.根據權利要求1所述的一種基于YOLACT++車身表面損傷檢測及掩膜生成方法，其特征在于，

所述通過目標原型掩膜張量及掩膜系數計算出最優原型掩膜，還包括步驟：采用預測的掩膜與真實的掩膜兩者像素集二值交叉熵生成所述最優原型掩膜的損失函數值；

所述最優原型掩膜的損失函數值由：分類損失函數值、預測框損失函數值和掩膜生成損失函數值相加所得。

4.一種存儲設備，其中存儲有指令集，其特征在于，所述指令集用于執行：通過視頻數據采集并生成預設大小值的車體表面損傷區域圖像；

輸入所述預設大小值的車體表面損傷區域圖像至主干網絡中進行特征提?。?/p>

輸入提取的特征張量至PredictionHeader和ProtoNet兩個并行處理分支中處理；

通過ProtoNet對特征張量進行卷積操作生成目標原型掩膜；

通過PredictionHeader對所述目標原型掩膜進行操作生成對應掩膜系數，及圈定所述目標原型掩膜的目標定位；

通過目標原型掩膜張量及掩膜系數計算出最優原型掩膜；

根據所述最優原型掩膜及所述目標原型掩膜的目標定位，分割出損傷區域；

在分割出的損傷區域上生成對應的掩膜；所述主干網絡包括：EfficientNet-B0和FPN；

所述通過PredictionHeader對所述目標原型掩膜進行操作生成對應掩膜系數，及圈定所述目標原型掩膜的目標定位，還包括步驟：通過PredictionHeader生成每個anchor的掩膜系數的向量、分類向量和anchor-box向量，并通過Fast-NMS對anchor-box向量進行篩選處理，其中PredictionHeader分支用于預測出實例檢測時生成的每個anchor的掩膜系數的向量、分類向量和anchor-box向量，最后，經過Fast-NMS處理。

5.根據權利要求4所述的一種存儲設備，其特征在于，所述通過ProtoNet對特征張量進行卷積操作生成目標原型掩膜，還包括步驟：通過全連接網絡生成預設大小值的原型掩膜，并與通過MaskIOU-Net生成的掩膜特征張量結合生成目標原型掩膜。

6.根據權利要求4所述的一種存儲設備，其特征在于，所述通過目標原型掩膜張量及掩膜系數計算出最優原型掩膜，還包括步驟：采用預測的掩膜與真實的掩膜兩者像素集二值交叉熵生成所述最優原型掩膜的損失函數值；

所述最優原型掩膜的損失函數值由：分類損失函數值、預測框損失函數值和掩膜生成損失函數值相加所得。