[發明專利]一種合成圖像的數據增強方法及系統

在審

• 申請號: 202210089982.0
• 申請日: 2022-01-25
• 公開（公告）號: CN114399456A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 歐陽一村;賴時伍;王和平;羅富章
• 申請（專利權）人: 盛視科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 深圳市正威知識產權代理事務所(特殊普通合伙) 44643
• 代理人: 柳大江

本發明涉及圖像數據處理技術領域，具體是一種合成圖像的數據增強方法及系統，包括以下步驟：圖像采集步驟：通過圖像采集模塊采集圖像；編碼器訓練步驟：根據采集的圖像訓練四組不同的編碼器；模型生成步驟：將四組編碼器中的編碼組合輸入到GAN模型中，然后生成合成的圖像；圖像比較步驟：將合成圖像與原圖進行比較，然后計算合成圖像的四組loss值；判別生成步驟：將合成圖像輸入GAN模型中進行判斷。本發明將圖像分解成場景、形狀、姿態和質地四個要素來編碼代表，然后通過四個要素的不同組合來構成生成的不同圖像，大大地增加了圖像或目標對象的多樣性，提高模型生成結果的精確度。

技術領域

本發明涉及圖像數據處理技術領域，具體是一種合成圖像的數據增強方法及系統。

背景技術

在圖像采集的過程中，由于采集時的環境或成本所限，實際采集到的目標所在的場景，目標的形狀、姿態和質地(或顏色)是非常有限的，而在目前影響深度學習實際效果的三大因素算力、數據和模型中，往往數據受限的情況最為常見。這種數據導致的目標圖像的多樣性受限，將使得模型訓練最終的效果或泛化能力很差。常見的解決方法包括增強數據，如通過幾何、顏色等變化，或多圖組合生成相應的訓練數據來增強模型的泛化能力。

中國專利號CN112132133A提供一種標識圖像數據增強方法及真偽智能鑒定方法，解決現有圖像分類算法遇到小樣本問題時的解決方案。本發明的技術方案是：一種標識圖像數據增強方法，其特征在于：獲取顯示有標識的真圖；獲取真圖中標識的關鍵特征數據；基于關鍵特征數據建立偽圖數據規則；根據數據規則生成偽圖。本發明適用于計算機視覺技術領域。

目前，現有圖像數據增強常規采用的方法主要是通過幾何、顏色變化或多圖組合來增強數據集，但實際上并不能解決各種不同場景泛化的問題，例如在有限幾個場景采集的目標圖像，無論如何通過幾何、顏色變化，目標所在的場景卻不會變化，當模型部署到不同的場景的環境中，其準確性會大大下降，也就是模型泛化能力很差，因此，繼續設計一種合成圖像的數據增強方法及系統解決上述問題。

發明內容

本發明的目的在于提供一種合成圖像的數據增強方法及系統，以解決上述背景技術中提出的現有圖像數據增強方法無法提高圖像的多樣性與無法解決各種不同場景泛化的問題。

本發明的技術方案是：一種合成圖像的數據增強方法，包括以下步驟：

圖像采集步驟：通過圖像采集模塊采集圖像；

編碼器訓練步驟：根據采集的圖像訓練四組不同的編碼器；

模型生成步驟：將四組編碼器中的編碼組合輸入到GAN模型中，然后生成合成的圖像；

圖像比較步驟：將合成圖像與原圖進行比較，然后計算合成圖像的四組loss值；

判別生成步驟：將合成圖像輸入GAN模型中進行判斷；

模型收斂步驟：對模型生成步驟、判別生成步驟中的模型進行訓練并收斂，得到完整的圖像生成模型；

圖像生成步驟：任意輸入圖像到圖像生成模型中，得到生成圖像。

進一步地，所述圖像采集步驟以不同場景和不同目標對象的相互組合的方式進行采集，且組合包括：不同場景和不同目標對象、不同場景和同一目標對象、同一場景和不同目標對象。

進一步地，所述編碼器訓練步驟訓練的四個編碼器對應特征分別為場景、形狀、姿態和質地。

進一步地，所述模型生成步驟采用GAN模型中的圖像生成器G合成圖像。

進一步地，所述圖像比較步驟中生成圖像分別與四組編碼器對應的原圖進行比較，且圖像比較步驟中需要訓練使得loss值達到最小，所述loss值為質地判別loos值、形狀判別loss值、姿態判別loss值、場景判別loss值。