[發明專利]一種基于生成對抗網絡的圖片合成方法

有效

• 申請號: 201811325648.0
• 申請日: 2018-11-08
• 公開（公告）號: CN109447906B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 解凱;何翊卿;李桐;李婷;孫磬宇
• 申請（專利權）人: 北京印刷學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0475;G06N3/094
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

本發明涉及一種基于生成對抗網絡的圖片合成方法，對不同域的圖片進行特征提取和融合，生成一副新的圖片，包括步驟如下：首先，收集和整理圖片樣本，并對其分組，各組圖片具有相同特征；然后，構建并訓練對抗網絡，初始化網絡參數；接著，選擇合適的損失函數和優化方法；之后，將樣本傳入生成對抗網絡開始訓練；最后，根據訓練結果，適當調整網絡參數，以期獲得更好的結果。本發明對圖像內容進行合成并且產生新的圖像，同時簡化人工操作，提升工作效率。

技術領域

本發明涉及一種基于生成對抗網絡的圖片合成方法，屬于深度學習和數字圖形圖像處理技術領域。

背景技術

隨著計算機硬件和神經網絡領域的發展，人工智能逐漸得到了人們的重視，也在人們生活中發揮著越來越重要的作用。深度學習源于神經網絡的發展，其概念由Hinton等人于2006年提出，其目的是為了模擬人腦進行分析和解釋數據。人們希望通過深度學習找到一個深層次的神經網絡模型，這個模型可以表示在人工智能應用中遇到的各種數據之中的概率分布，這些應用包括圖像處理、自然語言處理等。

深度學習可以分為有監督學習、半監督學習和無監督學習等幾類。生成對抗網絡就是一種典型的、非常有發展前景的無監督學習，它是一種通過對抗過程估計生成模型的神經網絡模型，其優化是一個二元極小極大博弈的過程。但是原始的生成對抗網絡具有訓練不穩定，梯度消失的問題，還經常出現模型崩潰問題(Mode?Collapse)。DRAGAN提出將GAN的訓練看作一個遺憾最小化的過程，它的特點是：在重復的博弈過程中，博弈的雙方需要使用無悔算法。DRAGAN的優點在于訓練速度快，達到穩定狀態時很少出現模式崩潰問題。而InfoGAN是一種通過非監督訓練(Unsupervi?sed?Training)得到輸入分量可解釋的網絡模型，它可以通過改變輸入向量的分量來直接地控制生成樣本的變化。

圖片，隨著科技發展愈發成為人們生活中所不可或缺的一部分，出于工作、生活以及其他方面的要求，對于一幅圖片，人們常希望給其加入一些不同形式的表現方式。比如，在工作中，人們常需要把自己、或者指定某一個人融入到一副指定的風景畫中。目前，人們需要借助一些圖片處理軟件(如PhotoShop等)來完成兩幅圖片內容的合成。然而，相比于使用生成對抗網絡，這種方法需要消耗更多的時間、操作也比較繁瑣，并且要求使用者熟悉這些軟件。

目前，已有學者提出使用生成對抗網絡進行跨域圖像風格遷移，如CycleGAN、DiscoGAN、DualGAN和StarGAN，其中CycleGAN、DiscoGAN和DualGAN都是學習兩個域的圖片特征，然后將這些特征相互遷移，最終生成的圖片帶有兩個域的特征。例如，CycleGAN可通過訓練將馬的圖片變成斑馬的圖片，也可以將夏季的風景圖片變成冬季的樣子；DiscoGAN可以將一張相機拍攝的真實相片在保留相片大部分細節的條件下轉化成帶有梵高風格的圖片；StarGAN可以用在對任意兩個域的圖片風格進行相互遷移，或者使一副圖片具有多于兩個域的特征。這些方法的目的都是對圖像的風格進行遷移，即對一張圖片的畫風、色彩等特征進行遷移，而本發明致力于保留兩個域中圖像的特征和細節，可以做到將人物添加到風景圖片中，并且人物的所處位置和光影效果不會與環境違和。兩者的根本區別在于：CycleGAN是以一個域中的一張圖片作為原圖，加入另一個域中的一些特征，生成圖片的內容主要由原圖決定；而本發明是從兩個域中各自提取一張圖片，然后將兩者的特征和細節信息合成在一起，生成圖片的內容由兩張圖片共同決定。

發明內容

本發明技術解決問題：克服現有技術的不足，提供一種基于生成對抗網絡的圖片合成方法，使用深度學習領域的技術來實現跨域圖片合成，大大簡化了操作步驟，提高生成效率和成品效果；同時操作簡單方便，避免繁瑣的人工操作，節省了人力資源和時間消耗。