[發(fā)明專利]確定執(zhí)行設(shè)備的動作選擇方針

有效

• 申請?zhí)枺?/td>: 201980039221.0
• 申請日: 2019-05-15
• 公開（公告）號: CN112470123B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 李輝;宋樂
• 申請（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 周嗣勇

本文公開了用于為執(zhí)行設(shè)備生成動作選擇方針(ASP)的方法、系統(tǒng)和裝置。一種方法包括：獲得當(dāng)前迭代中的ASP；獲得當(dāng)前狀態(tài)下每個(gè)動作的相應(yīng)的第一獎勵(lì)；基于各個(gè)動作的相應(yīng)的第一獎勵(lì)和ASP來計(jì)算當(dāng)前狀態(tài)的第一獎勵(lì)；基于動作的相應(yīng)的第一獎勵(lì)與當(dāng)前狀態(tài)的第一獎勵(lì)之間的差來計(jì)算每個(gè)動作的相應(yīng)遺憾值；基于當(dāng)前迭代中每個(gè)動作的相應(yīng)遺憾值來計(jì)算增量ASP；基于增量ASP來計(jì)算當(dāng)前狀態(tài)的第二獎勵(lì)；基于當(dāng)前狀態(tài)的第二獎勵(lì)確定下一次迭代中的ASP；以及根據(jù)ASP來控制執(zhí)行設(shè)備的各個(gè)動作。

技術(shù)領(lǐng)域

本文涉及確定執(zhí)行設(shè)備的動作選擇方針，以在包括執(zhí)行設(shè)備以及一個(gè)或多個(gè)其他設(shè)備的環(huán)境中完成任務(wù)。

背景技術(shù)

兩個(gè)或更多個(gè)參與方之間的策略交互可以通過涉及兩個(gè)或更多個(gè)參與方(也稱為玩家)的博弈來建模。在涉及兩個(gè)或更多個(gè)玩家的不完美信息博弈(imperfectinformation?games，IIG)中，玩家在做出決定之前只能部分地了解其對手。這類似于現(xiàn)實(shí)場景，例如貿(mào)易、交通路線規(guī)劃和公開拍賣。許多現(xiàn)實(shí)生活場景可以表示為IIG，例如不同公司之間的商業(yè)競爭、拍賣場景中的競標(biāo)關(guān)系、欺詐方和反欺詐方之間的博弈關(guān)系。

求解IIG的方法具有很大的經(jīng)濟(jì)和社會效益。由于信息隱藏，因此玩家必須在對其對手信息不確定的情況下下進(jìn)行推理，并且玩家還需要采取行動以利用其對手對其自己的信息的不確定的優(yōu)勢。

發(fā)明內(nèi)容

本文描述了用于確定執(zhí)行設(shè)備的動作選擇方針的技術(shù)，以在包括執(zhí)行設(shè)備以及一個(gè)或多個(gè)其他設(shè)備的環(huán)境中完成任務(wù)，例如，在執(zhí)行設(shè)備與一個(gè)或多個(gè)其他設(shè)備之間進(jìn)行策略交互。例如，執(zhí)行設(shè)備可以執(zhí)行一種計(jì)算機(jī)實(shí)現(xiàn)的用于尋求執(zhí)行設(shè)備與一個(gè)或多個(gè)其他設(shè)備之間的博弈的納什均衡(Nash?equilibrium)的方法。在一些實(shí)施例中，這些技術(shù)可以包括執(zhí)行用于求解不完美信息博弈(IIG)的虛擬反事實(shí)遺憾最小化(CFR)算法，其可以節(jié)省存儲空間，降低計(jì)算復(fù)雜性和方差，同時(shí)提高CFR算法的收斂速度。

本文還描述了耦接到一個(gè)或多個(gè)處理器并且其上存儲有指令的一個(gè)或多個(gè)非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，當(dāng)所述指令由所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令將促使所述一個(gè)或多個(gè)處理器按照本文提供的方法的實(shí)施例執(zhí)行操作。

本文還描述了用于實(shí)現(xiàn)本文所述的方法的系統(tǒng)。該系統(tǒng)包括一個(gè)或多個(gè)處理器以及耦接到所述一個(gè)或多個(gè)處理器并且其上存儲有指令的計(jì)算機(jī)可讀存儲介質(zhì)，當(dāng)所述指令由所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，所述指令將促使所述一個(gè)或多個(gè)處理器按照本文提供的方法的實(shí)施例執(zhí)行操作。

根據(jù)本文所述的方法、系統(tǒng)和計(jì)算機(jī)介質(zhì)可以包括本文描述的各個(gè)方面和特征的任何組合。也就是說，根據(jù)本文所述的方法不限于本文具體描述的各個(gè)方面和特征的組合，而是還包括所描述的各個(gè)方面和特征的任何組合。

在附圖和以下描述中闡述了本公開的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)。根據(jù)說明書和附圖以及權(quán)利要求，本文的其他特征和優(yōu)點(diǎn)將顯現(xiàn)。

附圖說明

圖1是示出根據(jù)本文的實(shí)施例的單牌撲克(one-card?poker)中的部分博弈樹的示例的圖示。

圖2A是示出原始CFR和流式CFR的工作流的示例的圖示，圖2B示出根據(jù)本文的實(shí)施例的流式CFR的工作流的示例。

圖3是根據(jù)本文的實(shí)施例的流式CFR算法的示例的偽代碼。

圖4是根據(jù)本文的實(shí)施例的用于執(zhí)行流式CFR以確定軟件應(yīng)用的動作選擇方針的處理的示例的流程圖。

圖5是示出根據(jù)本文的實(shí)施例的在部分博弈樹上應(yīng)用原始CFR算法和虛擬CFR算法的示例的圖示。

圖6是根據(jù)本文的實(shí)施例的執(zhí)行虛擬CFR以在兩個(gè)或更多個(gè)參與方之間的策略交互中進(jìn)行策略搜索的處理的示例的流程圖。