[發明專利]一種基于生成對抗網絡的交互式孔探數據擴展方法

在審

• 申請號: 202110311132.6
• 申請日: 2021-03-24
• 公開（公告）號: CN113033656A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 王洪建;黃睿;薛明宏;張寧;段博坤;邢艷;彭洪健;陳望;馬孝汶;葉清池;陳宇竹
• 申請（專利權）人: 廈門航空有限公司;中國民航大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于生成對抗網絡的交互式孔探數據擴展方法，包括：將缺陷圖像按缺陷類型分類，保存在相應文件夾中，構建航空發動機孔探圖像數據集，基于深度卷積構建生成對抗網絡模型結構；訓練生成對抗網絡模型，獲取一或多個生成不同缺陷的發動機孔探缺陷圖像生成器；構建P網絡，輸入訓練樣本中的形狀信息，編碼成發動機孔探缺陷圖像生成器識別的隱向量，使用AlexNet模型第四卷積層的特征對P網絡進行訓練；基于隱向量、發動機孔探缺陷圖像生成器，獲取指定形狀的生成圖像，通過訓練后的P網絡進行測試；構建交互式基本框架并使用自適應閾值分割缺陷，使用泊松融合算法修正融合區域邊緣痕跡。

技術領域

本發明涉及數據擴展領域，尤其涉及一種基于生成對抗網絡的交互式孔探數據擴展方法。

背景技術

數據擴展(Data Augmentation)是在深度神經網絡訓練階段無需增加計算成本即可增強模型性能的最實用方法之一。數據擴展可分為兩類：一類是使用傳統的數據變換方法，例如文獻[1]介紹的隨機裁剪算法一定程度上可以使網絡對待檢測目標的尺度信息更加不敏感，由此提升網絡對小物體的識別效果；文獻[2]介紹的隨機擦除算法可以達到類似隨機裁剪的目的；幾何轉換算法包括平移，縮放，仿射變換，透視變換等經典的數據擴展算法，是最受歡迎的數據擴展方法之一；文獻[3]介紹的色彩空間變換算法則可以通過色彩抖動等形式模擬不同的光照，色溫環境，提高模型對圖像色彩的魯棒性；文獻[4]介紹的神經風格轉換算法則可以改變圖像的風格，紋理等特征。合理使用這些方法可以達到快速擴充數據集并在一定程度上增強模型魯棒性的目的。

但對于目標檢測任務來說，這些方法只是對圖像的表現形式進行了改變，并沒有增加樣本空間中待檢測目標的比例，不能解決數據集內待檢測目標不均勻分布的問題。因此需要采用另一類數據擴展方法：數據重采樣方法。數據重采樣方法是指在模型訓練前或模型訓練時，對樣本多的類別采樣頻率減少，對樣本少的類別采樣頻率增大，從而使各類類別樣本數目維持在較為平衡的水平。文獻[5]通過雙向重采樣技術提高了人臉檢測模型的精度。目前數據重采樣方法則主要集中于新實例的合成。例如文獻[6]提出的圖像混合方法，通過插值對離散樣本空間進行連續化，提高了鄰域內的平滑性；文獻[7]提出的特征空間擴展方法通過將數據變換應用到特征層面，從而獲得了更為合理的合成數據；文獻[8]、文獻[9]則通過使用GAN(生成對抗網絡)生成圖像的方法生成了一些較為真實的樣本用于深度學習任務中。這些方法可以生成新的擴展圖像，但新生成的擴展圖像沒有像素級的標簽，只能人工再次標注，或僅用于圖像的分類任務。

在目標檢測任務中像素級的標簽信息十分重要。文獻[10]提出了一種用場景圖像及帶標簽的目標實例進行隨機合成的方法，但實驗發現，如果忽略場景的上下文信息，不考慮目標實例是否能夠出現在場景中的特定位置，只是對目標實例與圖像隨機組合，并不能達到提高檢測精度的目的，甚至可能會降低模型的性能。

參考文獻

[1]Liu W,Anguelov D,Erhan D,et al.SSD:Single shot multibox detector[C]//European conference on computer vision.Springer,Cham,2016:21-37.

[2]Zhong Z,Zheng L,Kang G,et al.Random Erasing Data Augmentation[C]//AAAI.2020:13001-13008.

[3]Shorten C,Khoshgoftaar T M.A survey on image data augmentation fordeep learning[J].Journal of Big Data,2019,6(1):60.

[4]Jing Y,Yang Y,Feng Z,et al.Neural style transfer:A review[J].IEEEtransactions on visualization and computer graphics,2019.