[發明專利]靜態行人圖像的運動動態化方法、系統、裝置及介質

在審

• 申請號: 202110245019.2
• 申請日: 2021-03-05
• 公開（公告）號: CN113012268A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 聶勇偉;趙美花;李桂清
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T13/80
• 分類號: G06T13/80;G06T13/40;G06T3/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發明公開了一種靜態行人圖像的運動動態化方法、系統、裝置及介質，其中方法包括：獲取兩張行人圖像，根據所述行人圖像提取一對人體的2D姿態；根據動作相似度將一對所述2D姿態映射到3D空間，生成一對3D姿態；根據一對所述3D姿態生成一組3D運動姿態序列；將所述3D運動姿態序列進行2D投影，獲得2D運動姿態序列；根據一對所述2D姿態對所述2D運動姿態序列進行優化；根據所述行人圖像和優化后的2D運動姿態序列生成行人運動圖像序列。本發明通過設計動作相似度對人體姿態進行2D和3D之間的映射，能夠避免數據標注的人力和時間耗費，使得人體姿態的生成更加靈活，可廣泛應用于圖像數據處理領域。

技術領域

本發明涉及圖像數據處理領域，尤其涉及一種靜態行人圖像的運動動態化方法、系統、裝置及介質。

背景技術

從靜態行人圖像生成行人運動圖像序列是指，根據兩張行人圖像合成一段時間的行人運動圖像序列。通常可分為兩個子任務，第一個子任務是根據從給定圖像中提取出的人體姿態，合成一段時間的人體姿態序列；第二個子任務是根據給定的人體圖像與第一個子任務得到的人體姿態序列，合成人體圖像序列。

深度學習方法通常通過大量數據進行有監督的學習，但是數據的標注往往極耗費人力和時間，且在實際應用中常常因為實際數據與實驗數據特征不一致而不能取得很好的效果。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種靜態行人圖像的運動動態化方法、系統、裝置及介質。

本發明所采用的技術方案是：

一種靜態行人圖像的運動動態化方法，包括以下步驟：

獲取兩張行人圖像，根據所述行人圖像提取一對人體的2D姿態；

根據動作相似度將一對所述2D姿態映射到3D空間，生成一對3D姿態；

根據一對所述3D姿態生成一組3D運動姿態序列，且所述3D運動姿態序列位于一對所述3D姿態之間；

將所述3D運動姿態序列進行2D投影，獲得2D運動姿態序列；

根據一對所述2D姿態對所述2D運動姿態序列進行優化；

根據所述行人圖像和優化后的2D運動姿態序列生成行人運動圖像序列。

進一步，所述根據動作相似度將一對所述2D姿態映射到3D空間，生成一對3D姿態，包括：

從預設的數據庫中獲取與所述2D姿態的動作相似度最大的預設2D姿態，獲取與所述預設2D姿態對應的預設3D姿態；

根據一對所述2D姿態獲得一對預設3D姿態，作為一對3D姿態。

進一步，所述動作相似度包括角度相似度、相對位置相似度或者關節點相似度中的至少之一；

所述角度相似度用于衡量兩個2D姿態之間肢體彎曲角度的相似程度；其中，肢體彎曲角度包括：左上臂與左下臂之間的角度、右上臂與右下臂之間的角度、左大腿與左小腿之間的角度、右大腿與右小腿之間的角度、左大腿與腰之間的角度、右大腿與腰之間的角度；

所述相對位置相似度用于衡量兩個2D姿態之間關鍵關節點對的相對位置的相似程度；其中，關鍵關節點對的相對位置包括：左肩與右肩的相對位置、左膝與右膝的相對位置、左腳與右腳的相對位置；

所述關節點相似度用于衡量兩個2D姿態之間關節點坐標的相似程度；其中，關節點包括左手、右手、左膝、右膝、左腳和右腳。

進一步，所述角度相似度的計算公式為：