[發明專利]基于循環一致性的無監督人體姿態遷移方法、系統及裝置

有效

• 申請號: 202010583710.7
• 申請日: 2020-06-23
• 公開（公告）號: CN111739115B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 郭海云;王金橋;唐明;劉松巖
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于領域，具體涉及了一種基于循環一致性的無監督人體姿態遷移方法，旨在解決現有的姿態遷移方法在跨身份人體姿態遷移任務中適應性差、生成圖像質量較低的問題。本發明包括：獲取一個人體圖像和另一目標姿態并根據人體圖象和目標姿態通過基于循環一致性的無監督對抗網絡生成姿態遷移圖像，所述基于循環一致性的無監督對抗網絡通過無身份標簽的訓練圖像以及設定的全局損失函數進行迭代訓練。本發明提高了跨身份人體姿態遷移任務的適應性，提高了生成圖像的質量。

技術領域

本發明屬于模式識別領域，具體涉及了一種基于循環一致性的無監督人體姿態遷移方法、系統及裝置。

背景技術

人體姿態遷移屬于圖像生成領域的子問題。給定一個人體圖像和一個目標姿態，人體姿態遷移旨在生成該人體在目標姿態下的圖像，如圖4所示。目前的人體姿態遷移技術主要集中于有監督的方法，這類技術在訓練過程中需要一個輸入的人體圖像在目標姿態下的真實圖像作為圖像生成的學習目標。這種方法主要存在三個缺陷：首先，它需要訓練數據具備身份標注信息，也就是需要同一個人在不同姿態下的圖像對來監督網絡訓練，這種對訓練數據的高要求大大限制了方法的適用性；其次，不同姿態的行人圖像往往背景也并不完全相同，而現有方法一般以最小化生成圖像與目標圖像之間的重構誤差為優化目標，即不僅約束生成圖像中行人姿態與目標姿態一致，還要求生成圖像的背景也與目標圖像的背景一樣，這種訓練方式會導致背景過擬合，從而影響進一步的應用；最后，真實應用場景中往往需要的是跨身份人體姿態遷移，即目標姿態由與輸入行人身份不同的另一幅行人圖像的姿態估計結果指定。姿態估計結果不僅包含了姿態信息，還耦合了行人高矮胖瘦等體態信息。現有方法訓練時僅僅使用了同一身份的行人圖像對，因此在跨身份人體姿態遷移任務中適應性較差，導致生成圖像質量較低。

發明內容

為了解決現有技術中的上述問題，即現有的姿態遷移方法在跨身份人體姿態遷移任務中適應性差、生成圖像質量較低的問題，本發明提供了一種基于循環一致性的無監督人體姿態遷移方法，所述方法包括：

步驟S10，獲取第一人體圖像和第一目標姿態；

步驟S20，基于所述第一人體圖像和第一目標姿態，通過訓練好的圖像遷移網絡的生成器G生成第一姿態遷移圖像；

其中，所述圖像遷移網絡為基于無監督對抗網絡構建，并通過無身份標簽的訓練圖像以及設定的全局損失函數進行迭代訓練獲得的用于生成目標姿態下輸入圖像對應的姿態遷移圖像的網絡；所述圖像遷移網絡包括生成器G和判別器D；所述設定的全局損失函數包括姿態一致性損失函數對抗損失函數循環一致性損失函數和自身一致性損失函數

在一些優選的實施方式中，所述方法還包括圖像遷移網絡更新的步驟：

步驟S30，基于所述第一人體圖像，通過預設的人體姿態估計方法獲取第二目標姿態；

步驟S40，基于所述第一姿態遷移圖像和第二目標姿態，通過所述圖像遷移網絡的生成器G生成第一重構圖像；

步驟S50，基于所述第一人體圖像和第一重構圖像，計算所述圖像遷移網絡的循環一致性損失，當所述循環一致性損失高于預設的閾值時，再次進行所述圖像遷移網絡的迭代訓練，獲得更新后的圖像遷移網絡。

在一些優選的實施方式中，所述基于循環一致性的無監督對抗網絡，其訓練方法為：

步驟B10，獲取第一人體訓練圖像和第二人體訓練圖像，并分別通過預設的人體姿態估計方法獲取所述第一人體訓練圖像對應的第一訓練姿態以及所述第二人體訓練圖像對應的第二訓練姿態；

步驟B20，基于所述第一人體訓練圖像和第二訓練姿態，通過所述圖像遷移網絡的生成器G生成第一遷移訓練圖像；基于所述第二人體訓練圖像和第一訓練姿態，通過所述圖像遷移網絡的生成器G生成第二遷移訓練圖像；