[發(fā)明專利]批量強(qiáng)化學(xué)習(xí)

在審

• 申請(qǐng)?zhí)枺?/td>: 201880038408.4
• 申請(qǐng)日: 2018-08-24
• 公開（公告）號(hào): CN110753936A
• 公開（公告）日: 2020-02-04
• 發(fā)明（設(shè)計(jì)）人: D.哈夫納
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06N3/00
• 分類號(hào): G06N3/00;G06N3/08;G06F9/50
• 代理公司: 11105 北京市柳沈律師事務(wù)所
• 代理人: 金玉潔

1.一種訓(xùn)練動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)以選擇要由與環(huán)境交互的代理執(zhí)行的動(dòng)作的方法，其中，所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)具有多個(gè)網(wǎng)絡(luò)參數(shù)，并且被配置為接收輸入觀察值并且根據(jù)所述網(wǎng)絡(luò)參數(shù)處理所述輸入觀察值以生成網(wǎng)絡(luò)輸出，所述網(wǎng)絡(luò)輸出定義了響應(yīng)于所述輸入觀察值而要由所述代理執(zhí)行的動(dòng)作，并且其中，所述方法包括：

獲得包括多個(gè)當(dāng)前觀察值的觀察值批，每一個(gè)當(dāng)前觀察值表征多個(gè)環(huán)境副本中相應(yīng)一個(gè)環(huán)境副本的當(dāng)前狀態(tài)；

根據(jù)所述網(wǎng)絡(luò)參數(shù)的當(dāng)前值，使用所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)并行地處理所述觀察值批中的當(dāng)前觀察值，以生成動(dòng)作批，所述動(dòng)作批包括對(duì)于每個(gè)環(huán)境副本，響應(yīng)于表征所述環(huán)境副本的當(dāng)前狀態(tài)的所述當(dāng)前觀察值而要由所述代理執(zhí)行的相應(yīng)動(dòng)作；

獲得包括對(duì)于所述環(huán)境副本中的每一個(gè)環(huán)境副本的相應(yīng)過渡元組的過渡元組批，所述對(duì)于每一個(gè)環(huán)境副本的相應(yīng)過渡元組包括：

(i)表征作為所述代理在所述動(dòng)作批中執(zhí)行用于所述環(huán)境副本的動(dòng)作的結(jié)果，所述環(huán)境副本被過渡到的后續(xù)狀態(tài)的后續(xù)觀察值，以及

(ii)作為所述環(huán)境副本過渡到所述后續(xù)狀態(tài)的結(jié)果而生成的獎(jiǎng)勵(lì)；和

使用強(qiáng)化學(xué)習(xí)技術(shù)在所述過渡元組批上訓(xùn)練所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)以更新所述網(wǎng)絡(luò)參數(shù)的當(dāng)前值。

2.根據(jù)權(quán)利要求1所述的方法，其中，每個(gè)環(huán)境副本被維持在分離的進(jìn)程內(nèi)。

3.根據(jù)權(quán)利要求2所述的方法，其中，獲得包括對(duì)于所述環(huán)境副本中的每一個(gè)環(huán)境副本的相應(yīng)過渡元組的過渡元組批包括：

將動(dòng)作批中的相應(yīng)動(dòng)作的每一個(gè)動(dòng)作提供給維護(hù)對(duì)應(yīng)于所述動(dòng)作的所述環(huán)境副本的進(jìn)程，以使得所述環(huán)境副本并行地過渡到相應(yīng)的后續(xù)狀態(tài)；和

從所述進(jìn)程中的每一個(gè)進(jìn)程，獲得被維持在所述進(jìn)程內(nèi)的環(huán)境副本的所述后續(xù)觀察值和獎(jiǎng)勵(lì)。

4.根據(jù)權(quán)利要求3所述的方法，其中，獲得所述過渡元組批還包括：

在從所有所述進(jìn)程中獲得所述后續(xù)觀察值和獎(jiǎng)勵(lì)之后，根據(jù)從所述進(jìn)程中獲得的數(shù)據(jù)生成所述過渡元組批。

5.根據(jù)權(quán)利要求2-4中任一項(xiàng)所述的方法，其中，根據(jù)所述網(wǎng)絡(luò)參數(shù)的當(dāng)前值，使用所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)并行處理所述觀察值批中的所述當(dāng)前觀察值，以生成動(dòng)作批包括：

執(zhí)行計(jì)算圖的推理子圖，其中，所述推理子圖對(duì)所述觀察值批中的當(dāng)前觀察值執(zhí)行用于所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)的批量推理，以生成每個(gè)當(dāng)前觀察值的相應(yīng)的網(wǎng)絡(luò)輸出，并且從每個(gè)網(wǎng)絡(luò)輸出中選擇相應(yīng)的動(dòng)作。

6.根據(jù)權(quán)利要求5所述的方法，其中，使用強(qiáng)化學(xué)習(xí)技術(shù)在所述批過渡元組上訓(xùn)練所述動(dòng)作選擇神經(jīng)網(wǎng)絡(luò)以更新所述網(wǎng)絡(luò)參數(shù)的當(dāng)前值包括：

執(zhí)行所述計(jì)算圖的訓(xùn)練子圖，所述訓(xùn)練子圖以訓(xùn)練元組批和所述網(wǎng)絡(luò)參數(shù)的當(dāng)前值作為輸入，并且將所述強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于所述批中的訓(xùn)練元組以生成所述網(wǎng)絡(luò)參數(shù)的更新值。

7.根據(jù)權(quán)利要求2-6中任一項(xiàng)所述的方法，其中，獲得包括用于所述環(huán)境副本中的每一個(gè)環(huán)境副本的相應(yīng)過渡元組的過渡元組批包括：

與用于所述環(huán)境副本的動(dòng)作一起，并行地向外部進(jìn)程中的每一個(gè)發(fā)出相應(yīng)的調(diào)用；

等待，直到響應(yīng)于所述相應(yīng)的調(diào)用，從進(jìn)程中的每一個(gè)進(jìn)程獲得后續(xù)觀察值和獎(jiǎng)勵(lì)；和

在確定已經(jīng)從所述進(jìn)程中的每一個(gè)進(jìn)程獲得后續(xù)觀察值和獎(jiǎng)勵(lì)之后，使用所獲得的后續(xù)觀察值和獎(jiǎng)勵(lì)來生成所述過渡元組批。

8.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其中，所述強(qiáng)化學(xué)習(xí)技術(shù)是逼近策略優(yōu)化(PPO)算法。

9.一種系統(tǒng)，包括一個(gè)或多個(gè)計(jì)算機(jī)和一個(gè)或多個(gè)存儲(chǔ)指令的存儲(chǔ)設(shè)備，當(dāng)所述指令被所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行權(quán)利要求1至8中任一項(xiàng)所述的方法的操作。

10.一個(gè)或多個(gè)存儲(chǔ)指令的計(jì)算機(jī)存儲(chǔ)介質(zhì)，當(dāng)所述指令被一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行權(quán)利要求1至8中任一項(xiàng)所述的方法的操作。