[發明專利]模型訓練方法、動作姿態生成方法、裝置、設備及介質

有效

• 申請號: 202110455733.4
• 申請日: 2021-04-26
• 公開（公告）號: CN113221681B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 亢祖衡;彭俊清;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V40/20
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李翔宇

本發明實施例公開了一種模型訓練方法、動作姿態生成方法、裝置、設備及介質。本發明涉及生物識別技術領域，該方法包括：訓練動作姿態生成模型，獲取機器人生成動作姿態所對應的語音信息并進行特征提取及特征融合以生成多個融合特征向量；對每個融合特征向量與機器人初始姿態自回歸向量進行特征融合以生成控制輸入向量；將隨機生成的潛在輸入向量及控制輸入向量輸入動作姿態生成模型以生成機器人姿態動作向量；更新預設初始姿態動作向量集中的機器人姿態動作向量，并將預設初始姿態動作向量集作為目標姿態動作向量集，根據目標姿態動作向量集生成機器人動作姿態。本發明實施例可節約動作姿態生成的成本及提高動作姿態生成的效果。

技術領域

本發明涉及生物識別技術領域，尤其涉及一種模型訓練方法、動作姿態生成方法、裝置、設備及介質。

背景技術

生物學家在大量的觀察和實驗基礎上發現人們通過對肢體動作的控制會影響著人類傳達出的喜怒哀樂等感情，并且每一個表情的細節都在傳達具有個人特色的隱含信息，與此同時，每個人的肢體動作與說話人使用的語言和語音特點的個性有極強的關聯性和共性。目前，驅動機器人或動畫人物模擬人體的動作姿態仍舊有諸多不足，例如，需要使用專業設備采集現有說話人的動作姿態，或者是基于歷史存取的肢體動作姿態倉庫相互進行生硬拼接，這使得動作姿態的生成不僅成本高，而且生成效果較差。

發明內容

本發明實施例提供了一種模型訓練方法、動作姿態生成方法、裝置、設備及介質，旨在解決現有肢體動作姿態生成成本高且效果不佳的問題。

第一方面，本發明實施例提供了一種模型訓練方法，其包括：

獲取訓練動作姿態生成模型所需的訓練數據集，并對所述訓練數據集中的訓練數據進行特征提取及第一次特征融合以生成融合特征向量；

提取所述訓練數據中預設時間段內的姿態動作向量作為姿態自回歸向量，并對所述姿態自回歸向量及所述融合特征向量進行第二次特征融合以生成控制輸入向量；

提取所述訓練數據中預設時刻的所述姿態動作向量作為姿態輸入向量，并將所述姿態輸入向量及所述控制輸入向量輸入流模型以得到輸出向量，其中，所述預設時刻為所述預設時間段中結束時刻的下一時刻；

基于所述輸出向量對所述流模型進行訓練以得到所述動作姿態生成模型。

第二方面，本發明實施例提供了一種動作姿態生成方法，其包括：

獲取機器人生成動作姿態所對應的語音信息，并對所述語音信息進行特征提取及第一次特征融合以生成多個逐幀對齊的融合特征向量；

對每個所述融合特征向量與機器人初始姿態自回歸向量進行第二次特征融合以生成控制輸入向量，其中，所述機器人初始姿態自回歸向量為從預設初始姿態動作向量集中提取的預設時間段內的機器人姿態動作向量；

隨機生成一個呈高斯分布的潛在輸入向量并將所述潛在輸入向量及所述控制輸入向量輸入如權利要求1-4任一項所述的動作姿態生成模型以生成當前時間的機器人姿態動作向量；

更新所述預設初始姿態動作向量集中所述當前時間對應的機器人姿態動作向量，并將下一時間作為所述當前時間，返回執行對每個所述融合特征向量與機器人初始姿態自回歸向量進行第二次特征融合以生成控制輸入向量的步驟，直至所有所述融合特征向量與所述機器人初始姿態自回歸向量進行第二次特征融合為止；

將所述預設初始姿態動作向量集作為目標姿態動作向量集，根據所述目標姿態動作向量集生成與所述語音信息相對應的機器人動作姿態。

第三方面，本發明實施例還提供了一種模型訓練裝置，其包括：

第一特征提取融合單元，用于獲取訓練動作姿態生成模型所需的訓練數據集，并對所述訓練數據集中的訓練數據進行特征提取及第一次特征融合以生成融合特征向量；