[發明專利]基于循環一致性的無監督人體姿態遷移方法、系統及裝置

有效

• 申請號: 202010583710.7
• 申請日: 2020-06-23
• 公開（公告）號: CN111739115B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 郭海云;王金橋;唐明;劉松巖
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于循環一致性的無監督人體姿態遷移方法，其特征在于，所述方法包括：

步驟S10，獲取第一人體圖像和第一目標姿態；

步驟S20，基于所述第一人體圖像和第一目標姿態，通過訓練好的圖像遷移網絡的生成器G生成第一姿態遷移圖像；

步驟S30，基于所述第一人體圖像，通過預設的人體姿態估計方法獲取第二目標姿態；

步驟S40，基于所述第一姿態遷移圖像和第二目標姿態，通過所述圖像遷移網絡的生成器G生成第一重構圖像；

步驟S50，基于所述第一人體圖像和第一重構圖像，計算所述圖像遷移網絡的循環一致性損失，當所述循環一致性損失高于預設的閾值時，再次進行所述圖像遷移網絡的迭代訓練，獲得更新后的圖像遷移網絡；

其中，所述圖像遷移網絡為基于無監督對抗網絡構建，并通過無身份標簽的訓練圖像以及設定的全局損失函數進行迭代訓練獲得的用于生成目標姿態下輸入圖像對應的姿態遷移圖像的網絡；所述圖像遷移網絡包括生成器G和判別器D；所述設定的全局損失函數包括姿態一致性損失函數對抗損失函數循環一致性損失函數和自身一致性損失函數

所述圖像遷移網絡，其訓練方法為：

步驟B10，獲取第一人體訓練圖像和第二人體訓練圖像，并分別通過預設的人體姿態估計方法獲取所述第一人體訓練圖像對應的第一訓練姿態以及所述第二人體訓練圖像對應的第二訓練姿態；

步驟B20，基于所述第一人體訓練圖像和第二訓練姿態，通過所述圖像遷移網絡的生成器G生成第一遷移訓練圖像；基于所述第二人體訓練圖像和第一訓練姿態，通過所述圖像遷移網絡的生成器G生成第二遷移訓練圖像；

步驟B30，基于所述第一人體訓練圖像、第一遷移訓練圖像和第二人體訓練圖像、第二遷移訓練圖像計算姿態一致性損失函數基于所述第一人體訓練圖像、第一遷移訓練圖像、第一訓練姿態和第二人體訓練圖像、第二遷移訓練圖像、第二訓練姿態，通過所述圖像遷移網絡的判別器D計算對抗損失函數

步驟B40，通過所述圖像遷移網絡的生成器G，基于所述第一遷移訓練圖像和第一訓練姿態生成第一重構訓練圖像，基于所述第二遷移訓練圖像和第二訓練姿態生成第二重構訓練圖像；

步驟B50，基于所述第一人體訓練圖像、第一重構訓練圖像和所述第二人體訓練圖像、第二重構訓練圖像計算循環一致性損失函數

步驟B60，基于所述第一人體訓練圖像、第一訓練姿態和所述第二人體訓練圖像、第二訓練姿態，通過所述圖像遷移網絡的生成器G生成第一自身遷移圖像和第二自身遷移圖像，并根據所述第一自身遷移圖像、第一人體訓練圖像和第二自身遷移圖像、第二人體訓練圖像計算自身一致性損失函數

步驟B70，通過隨機梯度下降法調整生成器G和判別器D的參數，多次迭代直至達到預設的迭代次數或滿足：

其中，為全局損失函數；

得到訓練好的用于生成目標姿態下輸入圖像對應的姿態遷移圖像的網絡。

2.根據權利要求1所述的基于循環一致性的無監督人體姿態遷移方法，其特征在于，所述全局損失函數為：

其中，為對抗損失函數，λ_adv為對抗損失函數的權重系數，為循環一致性損失函數，λ_cyc為循環一致性損失函數的權重系數，為自身一致性損失函數，λ_ide為自身一致性損失函數的權重系數，為姿態一致性損失函數，λ_pose為姿態一致性損失函數的權重系數。

3.根據權利要求1或2所述的基于循環一致性的無監督人體姿態遷移方法，其特征在于，所述姿態一致性損失函數為：

其中，n表示預設的人體姿態估計模型中在n個不同的特征層有n個不同的關鍵點特征圖，x′₁為第一遷移訓練圖像，x₂為第二人體訓練圖像，x′₂為第二遷移訓練圖像，x₁為第一人體訓練圖像，R_i為一個預訓練的深度卷積網絡。