[發(fā)明專(zhuān)利]動(dòng)作價(jià)值的確定方法、裝置、學(xué)習(xí)框架、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110127259.2
• 申請(qǐng)日: 2021-01-29
• 公開(kāi)（公告）號(hào): CN112926628A
• 公開(kāi)（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 范嘉駿;肖昌南
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N3/02;G06N20/00;G06F3/01
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種用于深度強(qiáng)化學(xué)習(xí)模型的動(dòng)作價(jià)值的確定方法，其特征在于，所述方法包括：

獲取深度強(qiáng)化學(xué)習(xí)模型與虛擬環(huán)境交互所產(chǎn)生的交互序列，其中，所述交互序列包括多個(gè)采樣數(shù)據(jù)，其中，每一所述采樣數(shù)據(jù)包括所述虛擬環(huán)境的環(huán)境狀態(tài)、以及與所述環(huán)境狀態(tài)對(duì)應(yīng)的決策動(dòng)作；

針對(duì)每一所述采樣數(shù)據(jù)，確定所述深度強(qiáng)化學(xué)習(xí)模型的優(yōu)勢(shì)函數(shù)與該采樣數(shù)據(jù)中的環(huán)境狀態(tài)對(duì)應(yīng)的優(yōu)勢(shì)函數(shù)值，以及在所述采樣數(shù)據(jù)對(duì)應(yīng)的決策策略下所述優(yōu)勢(shì)函數(shù)值的優(yōu)勢(shì)期望，其中，所述決策策略對(duì)應(yīng)的概率分布為基于所述優(yōu)勢(shì)函數(shù)和所述深度強(qiáng)化學(xué)習(xí)模型的策略熵參數(shù)構(gòu)造的；

針對(duì)每一所述采樣數(shù)據(jù)，根據(jù)所述采樣數(shù)據(jù)、與所述采樣數(shù)據(jù)對(duì)應(yīng)的優(yōu)勢(shì)函數(shù)值、所述優(yōu)勢(shì)期望以及所述深度強(qiáng)化學(xué)習(xí)模型的狀態(tài)值函數(shù)，確定所述采樣數(shù)據(jù)對(duì)應(yīng)的動(dòng)作價(jià)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述決策策略對(duì)應(yīng)的概率分布通過(guò)以下方式構(gòu)造：

根據(jù)所述優(yōu)勢(shì)函數(shù)值與所述策略熵參數(shù)確定所述決策策略對(duì)應(yīng)的目標(biāo)參數(shù)；

將所述目標(biāo)參數(shù)進(jìn)行softmax處理后得到的概率分布確定為所述決策策略對(duì)應(yīng)的概率分布。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述采樣數(shù)據(jù)、與所述采樣數(shù)據(jù)對(duì)應(yīng)的優(yōu)勢(shì)函數(shù)值、所述優(yōu)勢(shì)期望以及所述深度強(qiáng)化學(xué)習(xí)模型的狀態(tài)值函數(shù)，確定所述采樣數(shù)據(jù)對(duì)應(yīng)的動(dòng)作價(jià)值，包括：

根據(jù)所述采樣數(shù)據(jù)中的環(huán)境狀態(tài)，確定所述狀態(tài)值函數(shù)對(duì)應(yīng)的狀態(tài)價(jià)值；

將所述優(yōu)勢(shì)函數(shù)值與所述優(yōu)勢(shì)期望之差確定為處理優(yōu)勢(shì)函數(shù)值；

將所述處理優(yōu)勢(shì)函數(shù)值與所述狀態(tài)價(jià)值之和確定為所述動(dòng)作價(jià)值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于所述動(dòng)作價(jià)值確定所述深度強(qiáng)化學(xué)習(xí)模型的動(dòng)作值函數(shù)的更新梯度信息；

根據(jù)所述更新梯度信息對(duì)所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行更新。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述動(dòng)作價(jià)值確定所述深度強(qiáng)化學(xué)習(xí)模型的動(dòng)作值函數(shù)的更新梯度信息，包括：

根據(jù)所述決策策略的更新梯度信息、和在所述決策策略下的動(dòng)作價(jià)值與狀態(tài)價(jià)值的差值在目標(biāo)方向上的分量之差的期望值，確定所述動(dòng)作值函數(shù)的更新梯度信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述交互序列為在虛擬對(duì)象與所述虛擬環(huán)境進(jìn)行交互的過(guò)程中進(jìn)行采樣獲得的，其中，所述虛擬對(duì)象基于所述深度強(qiáng)化學(xué)習(xí)模型進(jìn)行控制，所述虛擬環(huán)境為所述虛擬對(duì)象所處的環(huán)境。

7.一種用于深度強(qiáng)化學(xué)習(xí)模型的動(dòng)作價(jià)值的確定裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取深度強(qiáng)化學(xué)習(xí)模型與虛擬環(huán)境交互所產(chǎn)生的交互序列，其中，所述交互序列包括多個(gè)采樣數(shù)據(jù)，其中，每一所述采樣數(shù)據(jù)包括所述虛擬環(huán)境的環(huán)境狀態(tài)、以及與所述環(huán)境狀態(tài)對(duì)應(yīng)的決策動(dòng)作；

第一確定模塊，用于針對(duì)每一所述采樣數(shù)據(jù)，確定所述深度強(qiáng)化學(xué)習(xí)模型的優(yōu)勢(shì)函數(shù)與該采樣數(shù)據(jù)中的環(huán)境狀態(tài)對(duì)應(yīng)的優(yōu)勢(shì)函數(shù)值，以及在所述采樣數(shù)據(jù)對(duì)應(yīng)的決策策略下所述優(yōu)勢(shì)函數(shù)值的優(yōu)勢(shì)期望，其中，所述決策策略對(duì)應(yīng)的概率分布為基于所述優(yōu)勢(shì)函數(shù)和所述深度強(qiáng)化學(xué)習(xí)模型的策略熵參數(shù)構(gòu)造的；

第二確定模塊，用于針對(duì)每一所述采樣數(shù)據(jù)，根據(jù)所述采樣數(shù)據(jù)、與所述采樣數(shù)據(jù)對(duì)應(yīng)的優(yōu)勢(shì)函數(shù)值、所述優(yōu)勢(shì)期望以及所述深度強(qiáng)化學(xué)習(xí)模型的狀態(tài)值函數(shù)，確定所述采樣數(shù)據(jù)對(duì)應(yīng)的動(dòng)作價(jià)值。

8.一種深度強(qiáng)化學(xué)習(xí)框架，其特征在于，在所述深度強(qiáng)化學(xué)習(xí)框架進(jìn)行訓(xùn)練的過(guò)程中，通過(guò)權(quán)利要求1-6中任一項(xiàng)所述深度強(qiáng)化學(xué)習(xí)模型的動(dòng)作價(jià)值的確定方法確定用于訓(xùn)練的采樣數(shù)據(jù)對(duì)應(yīng)的動(dòng)作價(jià)值。

9.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理裝置執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述方法的步驟。

10.一種電子設(shè)備，其特征在于，包括：

存儲(chǔ)裝置，其上存儲(chǔ)有計(jì)算機(jī)程序；

處理裝置，用于執(zhí)行所述存儲(chǔ)裝置中的所述計(jì)算機(jī)程序，以實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述方法的步驟。