[發明專利]一種圖像數據增廣方法及裝置

有效

• 申請號: 202110436901.5
• 申請日: 2021-04-22
• 公開（公告）號: CN113222114B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 班曉娟;周佳城;馬博淵;魏曉燕;陳佳豪;黃海友;王浩;薛維華;姜淑芳
• 申請（專利權）人: 北京科技大學;中國人民解放軍總醫院海南醫院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/80;G06N3/0464;G06N3/045;G06N3/0985;G06V10/764;G06V10/776
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;付忠林

本發明公開了一種圖像數據增廣方法及裝置，該方法包括：獲取真實圖像及其真實標注；構建標注生成網絡和風格遷移網絡；其中，標注生成網絡用于根據真實標注生成虛擬標注；風格遷移網絡用于將虛擬標注轉換成虛擬圖像；將標注生成網絡與風格遷移網絡合并成圖像數據增廣網絡；并基于真實圖像及其真實標注，采用基于生成器和判別器的損失函數訓練圖像數據增廣網絡；利用訓練好的圖像數據增廣網絡生成虛擬圖像和虛擬標注，實現圖像數據增廣。本發明能夠在增強真實圖像及其標注數據多樣性的同時，節省人工標注成本，顯著提高后續圖像分割模型訓練所需的數據量，從而提高圖像分割模型的精度。

技術領域

本發明涉及人工智能和材料科學技術領域，特別涉及一種圖像數據增廣方法及裝置。

背景技術

在材料科學領域中，材料的內部微觀結構與材料的加工處理技術、組織演變、物理和力學性能等息息相關。因此，材料微觀結構的科學定量表征是材料科學領域內的核心問題。由于材料的微觀結構通常以非結構化圖像數據的形式展現，所以通過圖像處理方法準確智能地提取材料顯微圖像中的關鍵信息成為計算機科學與材料科學間多學科交叉研究的熱點和重點發展方向。

依托于強有效的特征提取能力，深度學習成為目前計算機視覺領域的主流方法。但在材料科學領域，小樣本的訓練數據造成模型訓練困難成為阻礙材料顯微圖像高精度分析的瓶頸問題。

當前基于監督學習的深度學習模型需要大量具有標注的數據訓練模型，而由于材料樣本制備過程復雜且標注過程繁瑣耗時，通常難以獲得大量顯微圖像數據滿足深度學習模型的需要。即使是用于實驗研究的微小純鐵金屬樣品(1×1×1mm)，在微米尺度(分辨率為0.5×0.5×1.0μm)下也具有海量的數據(尺寸為2000×2000像素的1000張截面圖像)，需要大量的人力參與進行樣品制備、采集和數據標注等工作。因此，亟需研發可靠的小樣本學習策略降低深度學習模型對大量訓練數據的依賴。

數據增廣方法可利用計算機技術擴充訓練模型的數據量。使用數據增廣方法不僅可以增加訓練集的多樣性，減少過擬合并提高模型的泛化能力，而且不需要對模型進行修改，其泛用性較高。班曉娟針對上述問題，提出了一種基于風格遷移的數據增廣方法[班曉娟，魏曉燕，馬博淵，黃海友，王浩，薛維華.一種顯微圖像數據增強方法及裝置：中國,ZL201910253002.6[P].2019-03-28]，通過風格遷移融合模擬仿真模型中的晶粒結構信息和真實圖像中的紋理信息創建合成圖像，以此擴充用于訓練圖像分割模型的數據集。實驗結果表明，提出的數據增廣策略可為材料顯微圖像分割任務帶來性能增益，該增益效果在小數據集上尤為明顯，其增益效果超過了傳統圖像增廣方法和基于預訓練-微調的遷移學習方法。但該方法依賴模擬仿真模型生成模擬數據，具有兩點限制因素：一是時間和計算成本，其復雜的模擬數據建模過程，顯著增大生成模擬數據所需的時間，限制了方法的泛化能力。二是理論模型的準確性和可行性，模擬仿真方法依賴嚴重依賴先驗知識構建模擬數據，其先驗知識的準確性嚴重影響后續數據增廣方法帶來的增益效果。

因此，通過深度學習模型自動的學習圖像中知識，同時生成成對的標注和圖像，以此避免復雜的模擬數據建模過程，提高方法的泛化能力，是下一步研究的發展方向，也是突破目前該研究領域研究瓶頸的關鍵。

發明內容

本發明提供了一種圖像數據增廣方法及裝置，以解決現有技術時間和計算成本高，泛化能力低，準確性和可行性不夠理想的技術問題。

為解決上述技術問題，本發明提供了如下技術方案：

一方面，本發明提供了一種圖像數據增廣方法，包括：

獲取真實圖像及每一真實圖像所對應的與其逐像素對應的真實標注；

構建標注生成網絡和風格遷移網絡；其中，所述標注生成網絡用于根據真實標注，生成虛擬標注；所述風格遷移網絡用于將虛擬標注轉換成虛擬圖像；