[發(fā)明專利]分布式模型訓(xùn)練方法、系統(tǒng)及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202111323472.7
• 申請(qǐng)日: 2021-11-10
• 公開(kāi)（公告）號(hào): CN113762512B
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 任濤;何航;谷寧波;牛建偉;戴彬;邱源;胡哲源;胡舒程;姚依明;李青鋒
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)杭州創(chuàng)新研究院
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張欣欣

1.一種分布式模型訓(xùn)練方法，其特征在于，應(yīng)用于部署有DDPG模型的決策系統(tǒng)，所述決策系統(tǒng)包括管理設(shè)備以及多個(gè)終端設(shè)備，所述DDPG模型包括Critic網(wǎng)絡(luò)以及Actor網(wǎng)絡(luò)，所述Actor網(wǎng)絡(luò)包括第一在線網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)，每個(gè)所述終端設(shè)備部署有所述第一在線網(wǎng)絡(luò)，所述管理設(shè)備部署有所述Critic網(wǎng)絡(luò)以及所述第二在線網(wǎng)絡(luò)，所述方法包括：

執(zhí)行至少一次模型訓(xùn)練流程，直到所述DDPG模型滿足預(yù)設(shè)收斂條件；

所述模型訓(xùn)練流程，包括：

針對(duì)每個(gè)所述終端設(shè)備，所述終端設(shè)備根據(jù)自身的第一設(shè)備狀態(tài)，通過(guò)所述第一在線網(wǎng)絡(luò)生成與所述第一設(shè)備狀態(tài)相對(duì)應(yīng)的動(dòng)作；

所述終端設(shè)備將所述第一設(shè)備狀態(tài)對(duì)應(yīng)的策略經(jīng)驗(yàn)存放至經(jīng)驗(yàn)池，其中，所述策略經(jīng)驗(yàn)包括所述第一設(shè)備狀態(tài)、所述動(dòng)作、執(zhí)行所述動(dòng)作后的第二設(shè)備狀態(tài)以及所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)；

所述管理設(shè)備對(duì)所述經(jīng)驗(yàn)池進(jìn)行采樣，獲得策略樣本；

所述管理設(shè)備根據(jù)所述策略樣本，通過(guò)所述Critic網(wǎng)絡(luò)調(diào)整所述第二在線網(wǎng)絡(luò)的模型參數(shù)；

當(dāng)滿足預(yù)設(shè)同步條件，則所述管理設(shè)備將調(diào)整后的第二在線網(wǎng)絡(luò)同步至每個(gè)所述第一在線網(wǎng)絡(luò)，以使每個(gè)同步后的第一在線網(wǎng)絡(luò)與所述調(diào)整后的第二在線網(wǎng)絡(luò)具有相同的參數(shù)。

2.根據(jù)權(quán)利要求1所述的分布式模型訓(xùn)練方法，其特征在于，所述動(dòng)作包括終端任務(wù)本地執(zhí)行或者卸載至服務(wù)器執(zhí)行，所述終端設(shè)備將所述第一設(shè)備狀態(tài)、所述動(dòng)作、執(zhí)行所述動(dòng)作后的第二設(shè)備狀態(tài)以及所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)存放至經(jīng)驗(yàn)池之前，所述管理設(shè)備通過(guò)表達(dá)式確定所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)，所述表達(dá)式為：

式中，表示終端設(shè)備在時(shí)間片執(zhí)行所述終端任務(wù)的任務(wù)延時(shí)，表示終端設(shè)備在時(shí)間片執(zhí)行所述終端任務(wù)的任務(wù)能耗，表示預(yù)設(shè)權(quán)重。

3.根據(jù)權(quán)利要求2所述的分布式模型訓(xùn)練方法，其特征在于，所述表達(dá)式還配置有至少一條約束條件，當(dāng)滿足任意一條所述的約束條件時(shí)，則生成懲罰因子，所述懲罰因子用于減小所述即時(shí)獎(jiǎng)勵(lì)；

所述約束條件包括：

執(zhí)行所述終端任務(wù)需要的計(jì)算資源不能超過(guò)所述終端設(shè)備與所述服務(wù)器各自的資源上限；

所述終端任務(wù)只允許在所述終端設(shè)備執(zhí)行或者所述服務(wù)器執(zhí)行；

執(zhí)行所述終端任務(wù)的延時(shí)不能超過(guò)時(shí)長(zhǎng)閾值；

執(zhí)行所述終端任務(wù)的能耗不能超過(guò)終端設(shè)備與所述服務(wù)器各自的儲(chǔ)能上限。

4.一種決策系統(tǒng)，其特征在于，所述決策系統(tǒng)部署有DDPG模型，所述決策系統(tǒng)包括管理設(shè)備以及多個(gè)終端設(shè)備，所述DDPG模型包括Critic網(wǎng)絡(luò)以及Actor網(wǎng)絡(luò)，所述Actor網(wǎng)絡(luò)包括第一在線網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)，每個(gè)所述終端設(shè)備部署有所述第一在線網(wǎng)絡(luò)，所述管理設(shè)備部署有所述Critic網(wǎng)絡(luò)以及所述第二在線網(wǎng)絡(luò)；

執(zhí)行至少一次模型訓(xùn)練流程，直到所述DDPG模型滿足預(yù)設(shè)收斂條件；

所述模型訓(xùn)練流程，包括：

針對(duì)每個(gè)所述終端設(shè)備，所述終端設(shè)備用于根據(jù)自身的第一設(shè)備狀態(tài)，通過(guò)所述第一在線網(wǎng)絡(luò)生成與所述第一設(shè)備狀態(tài)相對(duì)應(yīng)的動(dòng)作；

所述終端設(shè)備用于將所述第一設(shè)備狀態(tài)對(duì)應(yīng)的策略經(jīng)驗(yàn)存放至經(jīng)驗(yàn)池，其中，所述策略經(jīng)驗(yàn)包括所述第一設(shè)備狀態(tài)、所述動(dòng)作、執(zhí)行所述動(dòng)作后的第二設(shè)備狀態(tài)以及所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)；

所述管理設(shè)備用于對(duì)所述經(jīng)驗(yàn)池進(jìn)行采樣，獲得策略樣本；

所述管理設(shè)備還用于根據(jù)所述策略樣本，通過(guò)所述Critic網(wǎng)絡(luò)調(diào)整所述第二在線網(wǎng)絡(luò)的模型參數(shù)；

當(dāng)滿足預(yù)設(shè)同步條件，則所述管理設(shè)備將調(diào)整后的第二在線網(wǎng)絡(luò)同步至每個(gè)所述第一在線網(wǎng)絡(luò)，以使每個(gè)同步后的第一在線網(wǎng)絡(luò)與所述調(diào)整后的第二在線網(wǎng)絡(luò)具有相同的參數(shù)。