[發明專利]基于平滑約束逆向機械模型的機器人表情模仿方法及裝置

有效

• 申請號: 201810593985.1
• 申請日: 2018-06-11
• 公開（公告）號: CN108908353B
• 公開（公告）日: 2021-08-13
• 發明（設計）人: 黃忠;劉娟;丁蕾;江巨浪;唐飛
• 申請（專利權）人: 安慶師范大學
• 主分類號: B25J11/00
• 分類號: B25J11/00;G06K9/00
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

1.一種基于平滑約束逆向機械模型的機器人表情模仿方法，其特征在于，所述方法包括：

A：提取機器人面部特征向量：

B：構建基于面部特征序列到電機控制序列的平滑約束逆向機械模型：所述B步驟，包括：

B1：利用公式，構建基于面部特征序列到電機控制序列的逆向機械模型，其中，為逆向機械模型輸出的電機控制序列，Δt為Kinect攝像頭獲取機器人面部表情的幀率；為機器人前k時刻的面部特征序列，且，Γ()為逆向機械模型；t為當前時刻；k為機器人t刻前的表情幀的數量；d為機器人t刻后的表情幀的數量；Y_t+(d-2)Δt為t+(d-2)Δt時刻的電機控制數據；X_t-(k-2)Δt為t-(k-2)Δt時刻機器人的面部特征向量；

B2：使用多層LSTM編碼-解碼結構對基于面部特征序列到電機控制序列的逆向機械模型進行建模，并采用d階多項式擬合電機控制序列的運動趨勢參數，基于位移、速度、加速度三者偏差構建平滑約束逆向機械模型；所述B2步驟，包括：

1)利用公式，對平滑約束逆向機械模型Γ()求解，其中，

為L層的編碼結構；為L層的解碼結構；L為預設的隱含層層數；為機器人t時刻前k幀的面部特征序列；為機器人后t時刻后d幀的電機控制序列；Y_t-Δt為機器人t-Δt時刻的電機控制序列；

2)、利用公式，

構建第j個電機前d個時刻和后d個時刻擬合的多項式函數，其中，

H_j(t+kΔt)為第j個電機t時刻的前d個時刻擬合的多項式函數；為第j個電機t時刻的前d個時刻的擬合函數的第i項多項式系數；F_j(t+qΔt)為第j個電機后d個時刻擬合的多項式函數；為第j個電機后d個時刻擬合函數的第i項多項式系數；

3)、利用公式，α_j＝P^-1U_j，計算j個電機控制序列的平滑系數，其中，

為第j個電機控制序列的待求解平滑系數；為第j個電機前0個時刻擬合函數的第d項多項式系數；為第j個電機前d個時刻擬合函數的第d項多項式系數；為第j個電機后0個時刻擬合函數的第d項多項式系數；為第j個電機后d個時刻擬合函數的第d項多項式系數；P為系數矩陣；U_j為j個電機控制序列在t-(d-1)Δt～t+(d-1)Δt時刻的的位移及零元素構成的向量，

且U_j＝(y_{(t-(d-1)Δt)j},…,y_(t-Δt)j,y_(t)j,y_(t+Δt)j,…,y_{(t+(d-1)Δt)j},0,0,0)^T，y_{(t-(d-1)Δt)j}為第j個電機t-(d-1)Δt時刻的控制位移；y_(t)j為第j個電機t時刻的控制位移；y_{(t+(d-1)Δt)j}為第j個電機t+(d-1)Δt時刻的控制位移；

4)、利用公式，A＝(α₁,…,α_j…,α_n)，1≤j≤n，求解t時刻n個電機控制序列的平滑系數矩陣其中，

A為為各個時刻n個電機構成的平滑系數矩陣；α_j為t時刻n個電機控制序列的平滑系數；

5)、將平滑系數矩陣代入公式，

計算第j個電機t時刻前d幀的控制位移第j個電機t時刻后d幀的控制位移

6)、將步驟5)計算的n個電機t時刻后d幀的控制位移代入目標函數，

計算平滑約束逆向機械模型的最優參數，其中，

J(W^E,W^D,b^E,b^D)為基于平滑約束逆向機械模型的最優參數；W^E為平滑約束逆向機械模型的第一模型參數的矩陣；W^D為平滑約束逆向機械模型的第二模型參數的矩陣；b^E為平滑約束逆向機械模型的第三模型參數的矩陣；b^D為平滑約束逆向機械模型的第四模型參數的矩陣；J()為目標函數；min為最小值求值函數；q為機器人t刻后的表情幀的編號，q∈[0,d-1]；F(t+qΔt)為機器人n個電機在t+qΔt時刻的真實控制序列的位移向量；F'(t+qΔt)為機器人n個電機在t+qΔt時刻的真實控制序列的速度向量的矩陣；F(t+qΔt)為機器人n個電機在t+qΔt時刻的真實控制序列的加速度向量的矩陣；t為當前時刻；為機器人n個電機在t+qΔt時刻位移向量的估算值；為機器人n個電機在t+qΔt時刻速度向量的估算值的矩陣；為機器人n個電機在t+qΔt時刻加速度向量的估算值的矩陣；α為以速度和加速度為平滑約束的權重，且α≥0；∑為求和函數；

C：以表演者實時面部特征為目標，基于平滑約束逆向機械模型生成最優電機控制序列，然后利用所述最優電機控制序列驅動機器人面部電機使所述機器人呈現出與所述表演者的臉部對應的表情。