[發明專利]一種圖像數據增強方法、裝置、介質及設備

在審

• 申請號: 202011320459.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112365423A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 李悅翔;陳嘉偉;魏東;何楠君;馬鍇;鄭冶楓
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;賈允

本發明公開了一種圖像數據增強方法、裝置、介質及設備，包括根據圖像訓練集對深度學習網絡進行訓練得到軟標簽生成器，圖像訓練集包含K個類別的圖像樣本集；獲取第一圖像樣本的軟標簽和類別，軟標簽表征第一圖像樣本與K個類別的類別關聯度；根據軟標簽生成器獲取K?1個類別的圖像樣本集中圖像樣本的類別代表性，K?1個類別中不包含第一圖像樣本的類別；根據第一圖像樣本的軟標簽和圖像樣本的類別代表性在K?1個類別的圖像樣本集中選取第二圖像樣本；將第一圖像樣本和第二圖像樣本進行融合得到目標圖像樣本。本發明涉及計算機視覺領域，通過生成難度可控的新圖像樣本，可以調節分類網絡模型訓練的難易程度以提升模型的泛化能力。

技術領域

本發明涉及人工智能技術領域，具體涉及一種圖像數據增強方法、裝置、介質及設備。

背景技術

隨著人工智能的發展，深度學習模型已廣泛應用到各行各業，在各個場景發揮著非常重要的作用。深度學習網絡模型需要大量樣本數據進行訓練，而在樣本的數據量不足的情況下模型的訓練則會出現過擬合的情況。因此，提出了對訓練數據的數據增強方法，也即通過在現有樣本數據的基礎上進行幾何變換和顏色變換等操作以生成更多的樣本數據。

在計算機視覺領域，針對圖像分類網絡和圖像訓練樣本，還提出了混合樣本的數據增強方法，比如Mixup、Cutout和CutMix，混合樣本后的圖像可以如圖1所示。這三種方法皆通過生成難例的方式提升深度學習分類網絡的泛化性，但是上述方法都是從訓練集中隨機抽取兩個樣本進行融合而合成難例新樣本，對類別之間的關聯性缺乏考慮，這導致難以衡量與控制合成后的樣本對網絡模型訓練的難易程度。以CutMix為例，利用單車和貓的圖片進行融合，模型會很容易分辨出單車和貓兩個類別，但是如果樣本是利用貓和狗的圖片融合得到，模型將很難準確判斷圖片中的這兩個類別，因為狗相對于單車，在外形上和貓更為相似。

發明內容

為了解決現有技術的問題，本發明提供了一種圖像數據增強方法、裝置、介質及設備。所述技術方案如下：

第一方面，本發明提供了一種圖像數據增強方法，所述方法包括：

根據圖像訓練集對深度學習網絡進行訓練，得到軟標簽生成器，所述圖像訓練集包含K個類別的圖像樣本集；

獲取第一圖像樣本，根據所述軟標簽生成器獲取所述第一圖像樣本的軟標簽和類別，所述軟標簽表征所述第一圖像樣本與所述K個類別的類別關聯度；

根據所述軟標簽生成器獲取K-1個類別的圖像樣本集中圖像樣本的類別代表性，所述K-1個類別中不包含所述第一圖像樣本的類別；

根據所述第一圖像樣本的軟標簽和所述圖像樣本的類別代表性，在所述K-1個類別的圖像樣本集中選取至少一個圖像樣本作為第二圖像樣本；

將所述第一圖像樣本和所述第二圖像樣本進行融合，得到目標圖像樣本，完成對所述圖像訓練集的圖像數據增強。

進一步地，所述根據所述軟標簽生成器獲取K-1個類別的圖像樣本集中圖像樣本的類別代表性包括：

通過所述軟標簽生成器將所述K-1個類別的圖像樣本集中的圖像樣本映射至同一個特征空間；

獲取在所述特征空間中所述K-1個類別的圖像樣本空間向量集；

根據所述K-1個類別的圖像樣本空間向量集進行計算，得到在所述特征空間中所述K-1個類別的中心向量；

根據所述K-1個類別的中心向量，計算所述K-1個類別的圖像樣本集中的圖像樣本的類別代表性。

進一步地，所述根據所述K-1個類別的中心向量，計算所述K-1個類別的圖像樣本集中的圖像樣本的類別代表性包括：

確定所述K-1個類別中目標類別的中心向量和圖像樣本空間向量集；