[發明專利]一種基于生成對抗網絡的多姿態行人圖像合成算法

有效

• 申請號: 201911036294.2
• 申請日: 2019-10-29
• 公開（公告）號: CN110796080B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 葛永新;李光睿;徐玲;洪明堅;楊夢寧;黃晟;王洪星;陳飛宇;張小洪;楊丹
• 申請（專利權）人: 重慶大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/764;G06T3/00;G06N3/0464;G06V10/82;G06N3/045;G06N3/0475;G06N3/08
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

本發明公開了一種基于生成對抗網絡的多姿態行人圖像合成算法，包括以下步驟：S1：通過行人重識別任務數據集Market?1501中獲取訓練數據集和測試數據集；S2：根據預設方法通過訓練數據集構建生成對抗網絡模型；S3：采用預設方法向生成對抗網絡模型輸入中加入姿態信息潛碼；S4：基于姿態信息潛碼構建生成對抗網絡模型的目標函數，并利用帶有目標函數的生成對抗網絡模型合成多姿態的行人圖像；S5：根據合成的多姿態行人圖像進行實驗結果分析。有益效果：本發明有效地縮小了生成器的解空間，使得生成對抗網絡訓練更加平穩，從而可以生成高質量的多姿態行人圖片。

技術領域

本發明涉及圖像合成算法技術領域，具體來說，涉及一種基于生成對抗網絡的多姿態行人圖像合成算法。

背景技術

在計算機視覺領域中，可以生成看上去更為現實、自然的圖片的算法變得越來越受歡迎，這得益于現實生活中對于高質量合成圖像的需求變得越來越高。而人物姿態遷移又是一個在該領域中非常活躍的主題。隨著深度神經網絡在計算機視覺中的廣泛應用，近幾年來，各種新穎的生成式網絡結構，例如變分自編碼網絡和生成對抗網絡在圖像生成領域都取得了一定的成就。

然而，目前大多數基于條件信息的生成對抗網絡(condition?GAN)更多的將精力集中于潛碼的表達或者圖像質量上，而忽略了行人個體信息的保留以及個體之間特征的差異性。對于Wasserstein等人提出的基于生成對抗網絡的特性，其存在以下缺點：生成器遠遠比判別器難訓練到收斂，因此判別器很容易早于生成器收斂，從而出現過于強大的判別器，導致生成器與判別器之間的對抗訓練與學習無從進行，并抑制生成器對特征空間的學習和模仿。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對現有技術存在的上述問題，本發明要解決的技術問題是：保證個體信息盡可能的保留、生成圖片低層、高層信息真實圖片盡可能的一致，以及緩和生成器與判別器之間的對抗訓練，避免兩者之間提前收斂，使得訓練盡可能的穩定。

為解決上述技術問題，本發明采用如下技術方案：一種基于生成對抗網絡的多姿態行人圖像合成算法，包括以下步驟：

S1：通過行人重識別任務數據集Market-1501中獲取訓練數據集和測試數據集；

S2：根據預設方法通過所述訓練數據集構建生成對抗網絡模型；

S3：采用預設方法向所述生成對抗網絡模型輸入中加入姿態信息潛碼；

S4：基于所述姿態信息潛碼構建所述生成對抗網絡模型的目標函數，并利用帶有所述目標函數的生成對抗網絡模型合成多姿態的行人圖像；

S5：根據合成的所述多姿態行人圖像進行實驗結果分析。

進一步的，所述S2中根據預設方法通過所述訓練數據集構建生成對抗網絡模型具體包括以下步驟：

S21：生成器的構建，通過預設方法構建所述生成器；

其中，所述S21中通過預設方法構建所述生成器具體包括以下步驟：

S211：通過三層卷積核和一條跳躍連接構成殘差模塊，并設定m為所述殘差模塊的輸入；

S212：編碼器通過三層卷積在瓶頸處生成特征向量F(m)，并設定m+F(m)為所述殘差模塊的輸出；

S213：在解碼器的中間層抽取特征，并通過一個卷積層輸出原圖四分之一的圖片；

S22：分類器的構建，在所述生成器的瓶頸處，添加一個基于softmax多分類的卷積神經網絡，將所述特征向量F(x)針對個體進行多分類；

S23：判別器的構建，設計兩組判別器，分別用于對所述殘差模塊輸出和所述原圖四分之一大小圖片的判斷。