[發明專利]人體模型的控制方法、裝置、電子設備以及存儲介質

有效

• 申請號: 201910344538.7
• 申請日: 2019-04-26
• 公開（公告）號: CN110046457B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 周波;曾宏生;王凡;何徑舟
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F111/10
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種人體模型的控制方法，其特征在于，所述方法包括以下步驟：

按照設定行進速度取值從大到小的順序，對行走模型進行訓練；其中，向仿真客戶端發送樣本控制信息；從仿真客戶端獲取樣本特征信息和反饋信息；其中，所述樣本特征信息，是所述仿真客戶端根據所述樣本控制信息對所述仿真客戶端運行的人體模型進行控制后生成的；所述反饋信息，用于指示所述樣本特征信息與設定行進速度之間的差異；采用所述樣本特征信息、所述反饋信息和所述樣本控制信息，對所述行走模型進行訓練；

獲取用于指示人體模型狀態的特征信息；

將所述特征信息輸入行走模型的多個策略網絡，得到各策略網絡輸出的控制信息；所述多個策略網絡在訓練過程中采用了不同的學習率；

采用行走模型的價值網絡對每一個策略網絡輸出的控制信息進行評分；所述評分，用于指示采用相應控制信息進行控制后的人體模型符合設定行進速度的概率；

根據所述評分，從各策略網絡輸出的控制信息中確定目標控制信息；

根據所述目標控制信息，控制人體模型。

2.根據權利要求1所述的控制方法，其特征在于，所述價值網絡為多個，所述多個價值網絡在訓練過程中采用了不同的學習率；

所述采用行走模型的價值網絡對每一個策略網絡輸出的控制信息進行評分，包括：

將所述特征信息、一個控制信息以及所述設定行進速度作為輸入信息，輸入所述多個價值網絡中，得到各價值網絡對相應控制信息的評分。

3.根據權利要求2所述的控制方法，其特征在于，所述根據所述評分，從各策略網絡輸出的控制信息中確定目標控制信息，包括：

對每一個策略網絡輸出的控制信息，計算多個價值網絡對相應控制信息的評分之和；

將所述評分之和為最大的控制信息，作為所述目標控制信息。

4.根據權利要求1所述的控制方法，其特征在于，所述仿真客戶端為多個。

5.根據權利要求1所述的控制方法，其特征在于，所述反饋信息是采用獎勵函數計算得到的；

所述設定行進速度按照取值從大到小劃分為多個訓練階段；各訓練階段具有對應的獎勵函數。

6.根據權利要求5所述的控制方法，其特征在于，所述多個訓練階段包括設定行進速度遞減的第一階段、第二階段和第三階段；

其中，所述第一階段的獎勵函數，是根據關節受力信息和相鄰時刻人體模型左右腳的位移量確定的；

所述第二階段的獎勵函數，是根據人體模型行進速度與設定行進速度之間的差異和樣本控制信息的L2范數確定的；

所述第三階段的獎勵函數，是根據人體模型行進速度與設定行進速度之間的差異和肌肉激活量確定的。

7.一種人體模型的控制裝置，其特征在于，所述裝置包括：

訓練模塊，用于按照設定行進速度取值從大到小的順序，對行走模型進行訓練；其中，所述訓練模塊，具體用于：向仿真客戶端發送樣本控制信息；從仿真客戶端獲取樣本特征信息和反饋信息；其中，所述樣本特征信息，是所述仿真客戶端根據所述樣本控制信息對所述仿真客戶端運行的人體模型進行控制后生成的；所述反饋信息，用于指示所述樣本特征信息與設定行進速度之間的差異；采用所述樣本特征信息、所述反饋信息和所述樣本控制信息，對所述行走模型進行訓練；

獲取模塊，用于獲取用于指示人體模型狀態的特征信息；

輸入模塊，用于將所述特征信息輸入行走模型的多個策略網絡，得到各策略網絡輸出的控制信息；所述多個策略網絡在訓練過程中采用了不同的學習率；

評分模塊，用于采用行走模型的價值網絡對每一個策略網絡輸出的控制信息進行評分；所述評分，用于指示采用相應控制信息進行控制后的人體模型符合設定行進速度的概率；

確定模塊，用于根據所述評分，從各策略網絡輸出的控制信息中確定目標控制信息；

控制模塊，用于根據所述目標控制信息，控制人體模型。