[發明專利]一種基于對抗生成網絡GAN的語義分割訓練數據增廣方法和系統

在審

• 申請號: 202011513292.0
• 申請日: 2020-12-21
• 公開（公告）號: CN112699885A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 王荔;范睿;呂殿斌;蔣佳霖;余文彬
• 申請（專利權）人: 杭州反重力智能科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 杭州合譜慧知識產權代理事務所(特殊普通合伙) 33290
• 代理人: 張剛

本發明公開的基于對抗生成網絡GAN的語義分割訓練數據增廣方法和系統，基于無監督學習，在標注圖中提供目標物體的像素級別真值，通過類內均值計算，得到前景與背景對應的均值，該均值約束標注圖反向學習得到輸入圖，訓練出GAN中生成器網絡的相關參數。給定一張任意合成標注圖，提供任意類內均值，加入隨機噪聲，通過已經學成的生成網絡便可以得到一張模擬的目標圖像，通過這種方法可以產生更多的合成目標圖，可以用這些合成目標圖作為輸入，增加了大量的訓練集數據，從而提高深度卷積語義分割網絡訓練的效率和準確性。

技術領域

本發明涉及機器學習領域，尤其涉及一種基于對抗生成網絡GAN的語義分割訓練數據增廣方法和系統。

背景技術

計算機視覺領域近些年發生了巨大的變化，深度神經網絡(Deep NeuralNetwork,DNN)在ImageNet的分類任務上取得了巨大成功。正常來說，DNN能實現的任務是輸入一個圖，輸出一個判斷，例如是你想要的結果或者不是。而對抗生成網絡GAN是為了能反向使用這個網絡，即通過輸入一個物品名字來輸出這個物品。GAN是基于一個博弈式的訓練過程，網絡中有生成器G(generator) 和鑒別器D(Discriminator)，有兩個數據域分別為X，Y。生成器G負責把X 域中的數據拿過來努力地模仿成Y’，并把它們藏在Y中。而鑒別器D就努力地要把偽造數據和真實數據分開如此反復直至生成模型與判別模型無法提高自己，此時生成模型就會成為一個完美的模型。

在機器學習中，我們需要大量數據來訓練深度學習模型避免過擬合。深度神經網絡具有非常多的參數，因此如果沒有用足夠的數據去訓練它們，它們往往會記住整個訓練集，這就會導致訓練的效果很好，測試集上的效果很差。而傳統的用來擴展訓練數據的數據增廣方法仍然是對圖像本身進行變換，而非生成新的數據，因此很多時候我們仍然無法獲取大量的訓練數據，

發明內容

本發明針對現有技術中的不足，提供了一種基于對抗生成網絡GAN的語義分割訓練數據增廣方法，包括如下步驟：

步驟S1，將輸入的原始圖片與對應的正確標注圖進行匹配學習，通過優化來實現識別與F(s)，其中為輸入的原始圖像即訓練目標的輸入目標圖，為正確標注圖，F(s)為生成的標注圖，為識別器；

步驟S2，生成器G網絡提取正確標注圖目標區域，在輸入目標圖中的同一區域進行像素平均值計算來約束反向學習過程，在由正確標注圖學習生成輸入目標圖的過程中持續優化G網絡參數，通過優化來實現識別正確標注圖與生成的原始輸入圖，其中為輸入的原始圖像，為正確標注圖，G(t)為生成的原始輸入圖，為識別器用來識別與G(t)，p_data表示給定數據的概率分布；

步驟S3，通過任意更改輸入至完成訓練的G網絡中的正確標注圖、類內均值和噪聲中的一個或多個，生成不同合成目標圖。

優選的，所述步驟S2還包括：通過優化一個循環損失來進行約束，其中p_data表示給定數據的概率分布，通過訓練G網絡模型和F網絡模型使F(G(t))≈t和G(F(s))≈s，即生成的標注圖接近于正確標注圖，生成的原始輸入圖接近于輸入目標圖。

本發明還公開了一種基于對抗生成網絡GAN的語義分割訓練數據增廣系統，包括：第一訓練模塊，用于將輸入的原始圖片與對應的正確標注圖進行匹配學習，通過優化來實現識別與F(s)，其中為輸入的原始圖像即訓練目標的輸入目標圖，為正確標注圖，F(s)為生成的標注圖，為識別器；第二訓練模塊，用于生成器G網絡提取正確標注圖目標區域，在輸入目標圖中的同一區域進行像素平均值計算來約束反向學習過程，在由正確標注圖學習生成輸入目標圖的過程中持續優化G網絡參數，通過優化來實現識別正確標注圖與生成的原始輸入圖，其中為輸入的原始圖像，為正確標注圖，G(t)為生成的原始輸入圖，為識別器用來識別與G(t)， p_data表示給定數據的概率分布；合成目標圖生成模塊，用于通過任意更改輸入至完成訓練的G網絡中的正確標注圖、類內均值和噪聲中的一個或多個，生成不同合成目標圖。