[發(fā)明專利]確定執(zhí)行設(shè)備的動作選擇方針

有效

• 申請?zhí)枺?/td>: 201980028669.2
• 申請日: 2019-12-12
• 公開（公告）號: CN112041875B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 李輝;宋樂
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 周嗣勇

1.一種執(zhí)行設(shè)備的計(jì)算機(jī)實(shí)現(xiàn)的方法，用于生成動作選擇方針以在包括所述執(zhí)行設(shè)備以及一個(gè)或多個(gè)其他設(shè)備的環(huán)境中完成任務(wù)，所述方法包括：

在多次迭代的當(dāng)前迭代中，

基于所述執(zhí)行設(shè)備在終點(diǎn)狀態(tài)下的收益以及所述一個(gè)或多個(gè)其他設(shè)備到達(dá)所述終點(diǎn)狀態(tài)的到達(dá)概率，計(jì)算所述執(zhí)行設(shè)備在完成任務(wù)的所述終點(diǎn)狀態(tài)下的反事實(shí)值CFV，其中，所述終點(diǎn)狀態(tài)是由所述執(zhí)行設(shè)備以及所述一個(gè)或多個(gè)其他設(shè)備在多個(gè)非終點(diǎn)狀態(tài)下采取的動作序列導(dǎo)致的，所述多個(gè)非終點(diǎn)狀態(tài)均具有一個(gè)或多個(gè)子狀態(tài)；

基于所述執(zhí)行設(shè)備在所述終點(diǎn)狀態(tài)下的反事實(shí)值和/或所述執(zhí)行設(shè)備在前一次迭代的終點(diǎn)狀態(tài)下的反事實(shí)值基線，計(jì)算所述執(zhí)行設(shè)備在所述終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值；

對于每個(gè)非終點(diǎn)狀態(tài)并從具有所述終點(diǎn)狀態(tài)以及一個(gè)或多個(gè)其他終點(diǎn)狀態(tài)作為子狀態(tài)的非終點(diǎn)狀態(tài)開始：

基于所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)的子狀態(tài)下的經(jīng)基線校正的反事實(shí)值的加權(quán)和，計(jì)算所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的反事實(shí)值；

基于所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的反事實(shí)值和/或所述執(zhí)行設(shè)備在前一次迭代的非終點(diǎn)狀態(tài)下的反事實(shí)值基線，計(jì)算所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值；基于所述執(zhí)行設(shè)備在所述前一次迭代的非終點(diǎn)狀態(tài)下的反事實(shí)值基線與所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的反事實(shí)值或經(jīng)基線校正的反事實(shí)值的加權(quán)和，計(jì)算所述執(zhí)行設(shè)備在所述當(dāng)前迭代的非終點(diǎn)狀態(tài)的反事實(shí)值基線；以及

基于所述執(zhí)行設(shè)備在所述當(dāng)前迭代的非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值，確定針對下一次迭代的非終點(diǎn)狀態(tài)下的動作選擇方針。

2.根據(jù)權(quán)利要求1所述的方法，還包括：響應(yīng)于確定滿足收斂條件，基于所述非終點(diǎn)狀態(tài)下的動作選擇方針控制所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的操作，以用于所述下一次迭代。

3.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，基于所述執(zhí)行設(shè)備在所述當(dāng)前迭代的非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值來確定針對所述下一次迭代的非終點(diǎn)狀態(tài)下的動作選擇方針包括：

基于所述執(zhí)行設(shè)備在所述當(dāng)前迭代的非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值計(jì)算遺憾值；以及

根據(jù)遺憾匹配，基于所述遺憾值確定針對所述下一次迭代的非終點(diǎn)狀態(tài)下的動作選擇方針。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)其他設(shè)備到達(dá)所述終點(diǎn)狀態(tài)的到達(dá)概率包括由到達(dá)所述終點(diǎn)狀態(tài)的所述一個(gè)或多個(gè)其他設(shè)備采取的動作的概率的乘積。

5.根據(jù)權(quán)利要求1所述的方法，其中，基于所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的反事實(shí)值和/或所述執(zhí)行設(shè)備在前一次迭代的非終點(diǎn)狀態(tài)下的反事實(shí)值基線，計(jì)算執(zhí)行設(shè)備在非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值包括：

基于以下計(jì)算在前一次迭代的終點(diǎn)狀態(tài)下采取所述動作的執(zhí)行設(shè)備的采樣反事實(shí)值基線：所述執(zhí)行設(shè)備在所述前一次迭代的終點(diǎn)狀態(tài)下的反事實(shí)值基線，所述執(zhí)行設(shè)備在所述前一次迭代的終點(diǎn)狀態(tài)下采取所述動作的采樣方針，以及所述執(zhí)行設(shè)備采取的動作序列導(dǎo)致到達(dá)所述終點(diǎn)狀態(tài)的概率；

響應(yīng)于確定對所述動作進(jìn)行了采樣，基于所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的反事實(shí)值和在所述前一次迭代的終點(diǎn)狀態(tài)下采取所述動作的執(zhí)行設(shè)備的采樣反事實(shí)值基線，計(jì)算在所述非終點(diǎn)狀態(tài)下采取所述動作的執(zhí)行設(shè)備的經(jīng)基線校正的反事實(shí)值；以及

響應(yīng)于確定未對所述動作進(jìn)行采樣，將在所述前一次迭代的終點(diǎn)狀態(tài)下采取所述動作的執(zhí)行設(shè)備的采樣反事實(shí)值基線用作所述執(zhí)行設(shè)備在所述非終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值。

6.根據(jù)權(quán)利要求1所述的方法，其中，基于經(jīng)所述當(dāng)前迭代中所述非終點(diǎn)狀態(tài)下的動作選擇方針加權(quán)的、所述執(zhí)行設(shè)備在所述終點(diǎn)狀態(tài)下的經(jīng)基線校正的反事實(shí)值以及所述執(zhí)行設(shè)備在所述一個(gè)或多個(gè)其他終點(diǎn)狀態(tài)下的對應(yīng)的經(jīng)基線校正的反事實(shí)值，計(jì)算所述執(zhí)行設(shè)備在所述終點(diǎn)狀態(tài)下的經(jīng)基線校正后的反事實(shí)值與所述執(zhí)行設(shè)備在所述一個(gè)或多個(gè)其他終點(diǎn)狀態(tài)下的對應(yīng)的經(jīng)基線校正的反事實(shí)值的加權(quán)和。