[發明專利]一種虛擬人物表情動作的提取方法、系統、裝置及介質

有效

• 申請號: 202010079897.7
• 申請日: 2020-02-04
• 公開（公告）號: CN111291674B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 王倫基;李權;葉俊杰;任勇;黃桂芳;韓藍青
• 申請（專利權）人: 清華珠三角研究院;賽業（廣州）生物科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 何文聰

1.一種虛擬人物表情動作的提取方法，其特征在于，包括：

采集人物動作視頻；

從所述人物動作視頻中提取人物動作信息，所述人物動作信息包括人臉關鍵點坐標、人物身體關鍵點坐標和人體輪廓特征；

構建人物動作庫，所述人物動作庫包含多幀人臉圖像，每一幀所述人臉圖像包含對應的人物動作信息；

根據語音信號獲取對應的唇形圖像；

將所述唇形圖像嵌入人物動作庫相應的人臉圖像中，生成包含人物表情和動作的圖像；

從所述圖像提取人物表情動作；

構建人物動作庫這一步驟，具體包括：

根據提取的人物動作信息，生成第一標簽信息，所述第一標簽信息包括二維點坐標和二維掩碼，存儲與第一標簽信息對應的人臉圖像，構建人物動作庫；

將所述第一標簽信息輸入生成對抗神經網絡以對所述生成對抗神經網絡進行訓練；

修改所述二維點坐標和/或二維掩碼以生成互不相同的第二標簽信息；

將所述互不相同的第二標簽信息輸入訓練好的生成對抗神經網絡中；

輸出與第二標簽信息對應的人臉圖像，每一幀所述人臉圖像包含對應的人物動作信息；

存儲與第二標簽信息對應的人臉圖像，進一步豐富人物動作庫。

2.根據權利要求1所述的一種虛擬人物表情動作的提取方法，其特征在于，從所述人物動作視頻中提取人物動作信息這一步驟，具體包括：

使用dlib采集得到人臉關鍵點坐標；

使用openPose采集得到人物身體關鍵點坐標；

使用maskRCNN采集得到人體輪廓特征；

提取所述采集得到的人臉關鍵點坐標、人物身體關鍵點坐標和人體輪廓特征；

根據提取得到的人臉關鍵點坐標、人物身體關鍵點坐標和人體輪廓特征生成對應的人物動作信息。

3.根據權利要求1所述的一種虛擬人物表情動作的提取方法，其特征在于，將所述唇形圖像嵌入人物動作庫相應的人臉圖像中，生成包含人物表情和動作的圖像這一步驟，具體包括：采用雙線性插值方式對唇形圖像中的唇形關鍵點坐標進行比例縮放；

采用仿射變換方式將縮放后的唇形關鍵點坐標平移到人物動作庫中相應的人臉圖像中的嘴唇位置；

計算人物動作庫中相鄰兩幀人臉圖像透射變換的矩陣；

根據所述矩陣，將平移后的唇形關鍵點坐標進行相應變換；

將變換后的唇形關鍵點坐標嵌入相應的人臉圖像中，生成包含人物表情和動作的圖像。

4.一種虛擬人物表情動作的提取系統，其特征在于，包括：

采集模塊，用于采集人物動作視頻；

第一提取模塊，用于從所述人物動作視頻中提取人物動作信息，所述人物動作信息包括人臉關鍵點坐標、人物身體關鍵點坐標和人體輪廓特征；

人物動作庫構建模塊，用于構建人物動作庫，所述人物動作庫包含多幀人臉圖像，每一幀所述人臉圖像包含對應的人物動作信息；

唇形圖像獲取模塊，用于根據語音信號獲取對應的唇形圖像；

生成模塊，用于將所述唇形圖像嵌入人物動作庫相應的人臉圖像中，生成包含人物表情和動作的圖像；

第二提取模塊，用于從所述圖像提取人物表情動作；

構建人物動作庫這一步驟，具體包括：

根據提取的人物動作信息，生成第一標簽信息，所述第一標簽信息包括二維點坐標和二維掩碼，存儲與第一標簽信息對應的人臉圖像，構建人物動作庫；

將所述第一標簽信息輸入生成對抗神經網絡以對所述生成對抗神經網絡進行訓練；

修改所述二維點坐標和/或二維掩碼以生成互不相同的第二標簽信息；

將所述互不相同的第二標簽信息輸入訓練好的生成對抗神經網絡中；

輸出與第二標簽信息對應的人臉圖像，每一幀所述人臉圖像包含對應的人物動作信息；

存儲與第二標簽信息對應的人臉圖像，進一步豐富人物動作庫。