[發(fā)明專利]一種基于生成對抗網(wǎng)絡的多姿態(tài)行人圖像合成算法

有效

• 申請?zhí)枺?/td>: 201911036294.2
• 申請日: 2019-10-29
• 公開（公告）號: CN110796080B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設計）人: 葛永新;李光睿;徐玲;洪明堅;楊夢寧;黃晟;王洪星;陳飛宇;張小洪;楊丹
• 申請（專利權(quán)）人: 重慶大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/764;G06T3/00;G06N3/0464;G06V10/82;G06N3/045;G06N3/0475;G06N3/08
• 代理公司: 重慶晟軒知識產(chǎn)權(quán)代理事務所(普通合伙) 50238
• 代理人: 王海鳳

1.一種基于生成對抗網(wǎng)絡的多姿態(tài)行人圖像合成算法，其特征在于，包括以下步驟：

S1：通過行人重識別任務數(shù)據(jù)集Market-1501中獲取訓練數(shù)據(jù)集和測試數(shù)據(jù)集；

S2：根據(jù)預設方法通過所述訓練數(shù)據(jù)集構(gòu)建生成對抗網(wǎng)絡模型，具體包括以下步驟：

S21：生成器的構(gòu)建，通過預設方法構(gòu)建所述生成器，具體包括以下步驟：

S211：通過三層卷積核和一條跳躍連接構(gòu)成殘差模塊，并設定m為所述殘差模塊的輸入；

S212：編碼器通過三層卷積在瓶頸處生成特征向量F(m)，并設定m+F(m)為所述殘差模塊的輸出；

S213：在解碼器的中間層抽取特征，并通過一個卷積層輸出原圖四分之一的圖片；

S22：分類器的構(gòu)建，在所述生成器的瓶頸處，添加一個基于softmax多分類的卷積神經(jīng)網(wǎng)絡，將所述特征向量F(f)針對個體進行多分類；

用于所述生成器輸出的判別器的分辨率為原圖大小，用于所述原圖四分之一大小圖片的判別器的分辨率為小分辨率，且用于小分辨率的所述判別器層數(shù)比用于原圖的所述判別器層數(shù)少兩層；

S23：判別器的構(gòu)建，設計兩組判別器，分別用于對所述殘差模塊輸出和所述原圖四分之一大小圖片的判斷；

S3：采用預設方法向所述生成對抗網(wǎng)絡模型輸入中加入姿態(tài)信息潛碼，具體包括以下步驟：

S31：利用OpenPose模型對姿態(tài)信息潛碼進行提取，具體包括以下步驟：

S311：將所述訓練數(shù)據(jù)集中的圖片作為反向傳播網(wǎng)絡的輸入，由反向傳播網(wǎng)絡同時預測：身體部位位置的一組二維置信度圖以及用于編碼身體部分關(guān)聯(lián)程度的相鄰親和力的一組二維向量；

S312：基于相鄰親和場進行身體部位的聚合；

S313：基于貪心推理，進行人與人之間姿態(tài)信息的分割

S32：根據(jù)預設方法將提取的所述姿態(tài)信息潛碼加入所述生成對抗網(wǎng)絡模型輸入中，具體包括以下步驟：

S321：通過OpenPose庫提取各個關(guān)鍵點的坐標信息，并生成一張黑色背景，以半徑為5的白色圓形表達關(guān)鍵點的圖片；

S322：將含有姿態(tài)信息的圖像作為第四通道與原有的RGB圖像進行疊加，并作為輸入的第四個通道；

S4：基于所述姿態(tài)信息潛碼構(gòu)建所述生成對抗網(wǎng)絡模型的目標函數(shù)，并利用帶有所述目標函數(shù)的生成對抗網(wǎng)絡模型合成多姿態(tài)的行人圖像；

具體包括以下步驟：

S41：設定I_A指某張姿態(tài)為A的行人圖像，I_B是姿態(tài)為B的目標圖像,將目標圖像的姿態(tài)P_B與I_A相加并作為生成器G的輸入，輸出為具有目標姿態(tài)P_B的合成圖像小分辨率、原分辨率判別器分別以D₁,D₂指代；

S42：構(gòu)建生成對抗網(wǎng)絡損失函數(shù)；

所述S42中構(gòu)建生成對抗網(wǎng)絡損失函數(shù)具體包括以下步驟：

S421：構(gòu)建生成對抗網(wǎng)絡的目標函數(shù)表達式：其中，D表示判別器，G(Z，C)表示生成器，C表示潛碼，I(C；G(Z，C))表示共同信息項；

S422：定義輔助分布Q(c|x)逼近P(c|x)，從而獲取一個下界：

S423：構(gòu)建生成對抗網(wǎng)絡部分的損失函數(shù)表達式：

其中E表示分布函數(shù)的期待值，P_date表示真實數(shù)據(jù)的分布；

S43：構(gòu)建L₁距離損失函數(shù)；

其中，所述S43中構(gòu)建L₁距離損失函數(shù)具體包括以下步驟：構(gòu)建兩個分辨率下的損失函數(shù)表達式：其中，G_mid(I_A，P_B)是生成器中間層的輸出，C_S是將生成器中間層生成為小分辨率圖像的小型卷積神經(jīng)網(wǎng)絡，L_L1為原分辨率圖像的L1損失函數(shù)，為小分辨率圖像的L1損失函數(shù)；

S44：構(gòu)建圖片塊損失函數(shù)；

其中，所述S44中構(gòu)建圖片塊損失函數(shù)具體包括以下步驟：構(gòu)建基于patch的損失函數(shù)表達式：其中，表示圖片中的第i個patch，并將原圖與生成圖像的對應位置的patch進行對比，H、W表示的是當前圖像的基于patch的高度和寬度，L_patch和分別表示原分辨率下、小分辨率下的基于patch的損失函數(shù)；

S45：構(gòu)建交叉熵損失函數(shù)；

其中，S45中構(gòu)建交叉熵損失函數(shù)具體包括以下步驟：

S451：在所述生成器的瓶頸處，所述分類器基于softmax分類層進行訓練：z_i＝Ψ(m_bottleneck)，其中，z_i表示在瓶頸處的卷積神經(jīng)網(wǎng)絡Ψ的輸出，m_bottleneck表示在生成器瓶頸處的特征向量；

S452：設softmax層前的輸出為一個向量V，v_j代表v中第j個元素，則該元素的softmax值為：

S453：構(gòu)建基于softmax的分類器的損失函數(shù)為：

S46：構(gòu)建所述生成對抗網(wǎng)絡模型的目標函數(shù)：

S5：根據(jù)合成的所述多姿態(tài)行人圖像進行實驗結(jié)果分析。