[發(fā)明專利]分布式模型訓(xùn)練方法、系統(tǒng)及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202111323472.7
• 申請(qǐng)日: 2021-11-10
• 公開(kāi)（公告）號(hào): CN113762512B
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 任濤;何航;谷寧波;牛建偉;戴彬;邱源;胡哲源;胡舒程;姚依明;李青鋒
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)杭州創(chuàng)新研究院
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張欣欣

本申請(qǐng)?zhí)峁┓植际侥Ｐ陀?xùn)練方法、系統(tǒng)及相關(guān)裝置中，該系統(tǒng)部署包括管理設(shè)備以及多個(gè)終端設(shè)備且部署有DDPG模型；DDPG模型包括Critic網(wǎng)絡(luò)以及Actor網(wǎng)絡(luò)，Actor網(wǎng)絡(luò)包括第一在線網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)，每個(gè)終端設(shè)備部署有第一在線網(wǎng)絡(luò)，管理設(shè)備部署有Critic網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)；而用于訓(xùn)練第二在線網(wǎng)絡(luò)的策略樣本采集自經(jīng)驗(yàn)池，由各終端設(shè)備通過(guò)自身部署的第一在線網(wǎng)絡(luò)生成，因此，策略樣本的狀態(tài)空間僅涉及單個(gè)終端設(shè)備，因此，該方法不僅能夠避免采集全局狀態(tài)所需要的耗時(shí)，而且還能降低狀態(tài)空間的維度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及控制領(lǐng)域，具體而言，涉及一種分布式模型訓(xùn)練方法、系統(tǒng)及相關(guān)裝置。

背景技術(shù)

在基于邊緣計(jì)算的任務(wù)卸載場(chǎng)景中，為了提高服務(wù)質(zhì)量，需要根據(jù)各邊緣設(shè)備的狀態(tài)，制定任務(wù)卸載策略。該任務(wù)卸載策略用于將邊緣設(shè)備中的終端任務(wù)進(jìn)行重新分配。例如，將終端任務(wù)在邊緣設(shè)備本地執(zhí)行或者卸載至云端的服務(wù)器執(zhí)行。

現(xiàn)有的研究與發(fā)明大多是完全集中式的調(diào)度方法。即需要獲取全部邊緣設(shè)備的全局狀態(tài)信息之后，基于該全局狀態(tài)信息對(duì)所有邊緣設(shè)備的終端任務(wù)進(jìn)行統(tǒng)一調(diào)度。然而，發(fā)明人研究發(fā)現(xiàn)，隨著邊緣設(shè)備的增加，集中式調(diào)度方法難以在同一個(gè)時(shí)間內(nèi)收集所需的全局信息，并在有限的時(shí)間內(nèi)制定任務(wù)卸載策略，極大的影響了算法的收斂效率。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的至少一個(gè)不足，本申請(qǐng)實(shí)施例提供一種分布式模型訓(xùn)練方法、系統(tǒng)及相關(guān)裝置，包括：

第一方面，本實(shí)施例提供一種分布式模型訓(xùn)練方法，應(yīng)用于部署有DDPG（DeepDeterministic Policy Gradient，深度確定性策略梯度）模型的決策系統(tǒng)，所述決策系統(tǒng)包括管理設(shè)備以及多個(gè)終端設(shè)備，所述DDPG模型包括Critic網(wǎng)絡(luò)以及Actor網(wǎng)絡(luò)，所述Actor網(wǎng)絡(luò)包括第一在線網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)，每個(gè)所述終端設(shè)備部署有所述第一在線網(wǎng)絡(luò)，所述管理設(shè)備部署有所述Critic網(wǎng)絡(luò)以及所述第二在線網(wǎng)絡(luò)，所述方法包括：

執(zhí)行至少一次模型訓(xùn)練流程，直到所述DDPG模型滿足預(yù)設(shè)收斂條件；

所述模型訓(xùn)練流程，包括：

針對(duì)每個(gè)所述終端設(shè)備，所述終端設(shè)備根據(jù)自身的第一設(shè)備狀態(tài)，通過(guò)所述第一在線網(wǎng)絡(luò)生成與所述第一設(shè)備狀態(tài)相對(duì)應(yīng)的動(dòng)作；

所述終端設(shè)備將所述第一設(shè)備狀態(tài)對(duì)應(yīng)的策略經(jīng)驗(yàn)存放至經(jīng)驗(yàn)池，其中，所述策略經(jīng)驗(yàn)包括所述第一設(shè)備狀態(tài)、所述動(dòng)作、執(zhí)行所述動(dòng)作后的第二設(shè)備狀態(tài)以及所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)；

所述管理設(shè)備對(duì)所述經(jīng)驗(yàn)池進(jìn)行采樣，獲得策略樣本；

所述管理設(shè)備根據(jù)所述策略樣本，通過(guò)所述Critic網(wǎng)絡(luò)調(diào)整所述第二在線網(wǎng)絡(luò)的模型參數(shù)；

當(dāng)滿足預(yù)設(shè)同步條件，則所述管理設(shè)備將調(diào)整后的第二在線網(wǎng)絡(luò)同步至每個(gè)所述第一在線網(wǎng)絡(luò)，以使每個(gè)同步后的第一在線網(wǎng)絡(luò)與所述調(diào)整后的第二在線網(wǎng)絡(luò)具有相同的參數(shù)。

第二方面，本實(shí)施例提供一種決策系統(tǒng)，所述決策系統(tǒng)部署有DDPG模型，所述決策系統(tǒng)包括管理設(shè)備以及多個(gè)終端設(shè)備，所述DDPG模型包括Critic網(wǎng)絡(luò)以及Actor網(wǎng)絡(luò)，所述Actor網(wǎng)絡(luò)包括第一在線網(wǎng)絡(luò)以及第二在線網(wǎng)絡(luò)，每個(gè)所述終端設(shè)備部署有所述第一在線網(wǎng)絡(luò)，所述管理設(shè)備部署有所述Critic網(wǎng)絡(luò)以及所述第二在線網(wǎng)絡(luò)；

執(zhí)行至少一次模型訓(xùn)練流程，直到所述DDPG模型滿足預(yù)設(shè)收斂條件；

所述模型訓(xùn)練流程，包括：

針對(duì)每個(gè)所述終端設(shè)備，所述終端設(shè)備用于根據(jù)自身的第一設(shè)備狀態(tài)，通過(guò)所述第一在線網(wǎng)絡(luò)生成與所述第一設(shè)備狀態(tài)相對(duì)應(yīng)的動(dòng)作；

所述終端設(shè)備用于將所述第一設(shè)備狀態(tài)對(duì)應(yīng)的策略經(jīng)驗(yàn)存放至經(jīng)驗(yàn)池，其中，所述策略經(jīng)驗(yàn)包括所述第一設(shè)備狀態(tài)、所述動(dòng)作、執(zhí)行所述動(dòng)作后的第二設(shè)備狀態(tài)以及所述動(dòng)作的即時(shí)獎(jiǎng)勵(lì)；