[發(fā)明專利]多智能體行動(dòng)策略學(xué)習(xí)方法、裝置、介質(zhì)和計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010072011.6
• 申請(qǐng)日: 2020-01-21
• 公開（公告）號(hào): CN111309880A
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 黃民烈;高信龍一
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06N3/04;G06N3/08
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 韓雪梅

1.一種多智能體行動(dòng)策略學(xué)習(xí)方法，包括：

所述多智能體分別根據(jù)各自的初始行動(dòng)策略采樣相應(yīng)的動(dòng)作；

分別估計(jì)所述多智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)；

基于所述多智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)更新各智能體的行動(dòng)策略，以使更新后的各個(gè)行動(dòng)策略能夠使得相應(yīng)的智能體獲得更高的回報(bào)。

2.如權(quán)利要求1所述的方法，其中，所述多智能體分別根據(jù)各自的初始行動(dòng)策略執(zhí)行相應(yīng)的動(dòng)作之前，所述方法還包括：

使用真實(shí)行動(dòng)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練以分別得到所述多智能體各自的初始行動(dòng)策略。

3.如權(quán)利要求2所述的方法，其中，采用加權(quán)邏輯回歸法基于真實(shí)行動(dòng)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練以分別得到所述多智能體各自的初始行動(dòng)策略。

4.如權(quán)利要求1所述的方法，其中，分別估計(jì)所述多智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)，包括：

分別獲取各智能體執(zhí)行相應(yīng)動(dòng)作后所達(dá)到的新狀態(tài)；

分別計(jì)算各智能體當(dāng)前狀態(tài)和達(dá)到新狀態(tài)后的回報(bào)；

分別根據(jù)各智能體當(dāng)前狀態(tài)和達(dá)到新狀態(tài)后的回報(bào)計(jì)算各智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)。

5.一種多智能體行動(dòng)策略學(xué)習(xí)裝置，包括多個(gè)多智能體和多個(gè)價(jià)值網(wǎng)絡(luò)，其中，所述多個(gè)智能體分別根據(jù)各自的初始行動(dòng)策略采樣相應(yīng)的動(dòng)作；

所述多個(gè)價(jià)值網(wǎng)絡(luò)分別估計(jì)所述多智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)；

所述多個(gè)智能體基于執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)更新各自的行動(dòng)策略，以使更新后的各個(gè)行動(dòng)策略能夠使得相應(yīng)的智能體獲得更高的回報(bào)。

6.如權(quán)利要求5所述的裝置，其中，所述裝置還包括：

預(yù)訓(xùn)練模塊，被配置為使用真實(shí)行動(dòng)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練以分別得到所述多智能體各自的初始行動(dòng)策略。

7.如權(quán)利要求6所述的裝置，其中，所述預(yù)訓(xùn)練模塊，被配置為采用加權(quán)邏輯回歸法基于真實(shí)行動(dòng)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練以分別得到所述多智能體各自的初始行動(dòng)策略。

8.如權(quán)利要求5所述的裝置，其中，所述裝置還包括多個(gè)狀態(tài)編碼模塊，被配置為分別獲取各智能體執(zhí)行相應(yīng)動(dòng)作后所達(dá)到的新狀態(tài)；

所述多個(gè)價(jià)值網(wǎng)絡(luò)還被配置為分別計(jì)算各智能體當(dāng)前狀態(tài)和達(dá)到新狀態(tài)后的回報(bào)；以及分別根據(jù)各智能體當(dāng)前狀態(tài)和達(dá)到新狀態(tài)后的回報(bào)計(jì)算各智能體執(zhí)行相應(yīng)動(dòng)作后獲得的優(yōu)勢(shì)。

9.一種介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)所述的方法。

10.一種計(jì)算設(shè)備，特征在于：所述計(jì)算機(jī)設(shè)備包括處理器，所述處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)所述的方法。