[發(fā)明專利]模型構(gòu)建方法、任務(wù)分配方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110302078.9
• 申請(qǐng)日: 2021-03-22
• 公開（公告）號(hào): CN113032904B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 任濤;胡哲源;谷寧波;牛建偉;杜東峰;豆淵博;李青鋒
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)杭州創(chuàng)新研究院
• 主分類號(hào): G06F30/15
• 分類號(hào): G06F30/15;G06F30/20;G06F9/445;G06F9/48;G06F9/50;G06F119/12
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 董艷芳

本申請(qǐng)?zhí)峁┑哪Ｐ蜆?gòu)建方法、任務(wù)分配方法、裝置、設(shè)備及介質(zhì)中，訓(xùn)練設(shè)備將無人機(jī)輔助移動(dòng)邊緣計(jì)算的調(diào)度策略拆分成無人機(jī)位置優(yōu)化與任務(wù)計(jì)算卸載優(yōu)化兩個(gè)層級(jí)的子問題，使用層次強(qiáng)化學(xué)習(xí)交替優(yōu)化對(duì)應(yīng)位置模型以及任務(wù)模型，以達(dá)到降低了每個(gè)子問題的復(fù)雜度，并且提高了整體系統(tǒng)的學(xué)習(xí)效率與收斂效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種模型構(gòu)建方法、任務(wù)分配方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

由于無人機(jī)(Unmanned Aerial Vehicles,UAVs)具有的高機(jī)動(dòng)性和靈活性，近年來研究人員提出了使用無人機(jī)在多種應(yīng)用場景下輔助移動(dòng)邊緣計(jì)算(Mobile EdgeComputing,MEC)的技術(shù)。在無人機(jī)輔助的移動(dòng)邊緣計(jì)算領(lǐng)域，需要對(duì)無人機(jī)的運(yùn)動(dòng)軌跡和無人機(jī)與移動(dòng)終端之間任務(wù)進(jìn)行適當(dāng)?shù)恼{(diào)度以獲得理想的性能。其中，在對(duì)任務(wù)調(diào)度表示將同一計(jì)算任務(wù)分配給無人機(jī)或者移動(dòng)終端(下面簡稱任務(wù)卸載)。目前，出現(xiàn)了基于強(qiáng)化學(xué)習(xí)的方法實(shí)現(xiàn)動(dòng)態(tài)場景下無人機(jī)輔助移動(dòng)邊緣計(jì)算的調(diào)度策略。

發(fā)明人研究發(fā)現(xiàn)，隨著無人機(jī)與移動(dòng)終端數(shù)量的增加，使用強(qiáng)化學(xué)習(xí)算法的系統(tǒng)狀態(tài)空間與動(dòng)作空間會(huì)呈指數(shù)級(jí)別增長，這大大降低了算法的收斂效率。因此，對(duì)于大規(guī)模的無人機(jī)輔助的移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)，很難獲得易收斂的調(diào)度策略。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的至少一個(gè)不足，第一方面，本申請(qǐng)實(shí)施例提供一種模型構(gòu)建方法，應(yīng)用于訓(xùn)練設(shè)備，所述訓(xùn)練設(shè)備配置有待訓(xùn)練的位置模型以及任務(wù)分配模型，所述方法包括：

初始化所述位置模型、所述任務(wù)分配模型、第一無人機(jī)的狀態(tài)以及第一移動(dòng)終端的狀態(tài)，其中，所述第一無人機(jī)用于為所述第一移動(dòng)終端提供邊緣計(jì)算服務(wù)；

將所述位置模型以及任務(wù)分配模型進(jìn)行以下迭代，直到滿足預(yù)設(shè)的迭代條件：

根據(jù)所述第一移動(dòng)終端與所述第一無人機(jī)之間當(dāng)前時(shí)刻的第一狀態(tài)，通過所述位置模型獲得所述第一無人機(jī)下一時(shí)刻的預(yù)測位置；

根據(jù)所述預(yù)測位置更新所述位置模型的模型參數(shù)；

根據(jù)所述預(yù)測位置確定所述第一無人機(jī)與所述第一移動(dòng)終端之間當(dāng)前時(shí)刻的第二狀態(tài)；

根據(jù)所述第二狀態(tài)，通過所述任務(wù)分配模型確定所述第一無人機(jī)與所述第一移動(dòng)終端之間下一時(shí)刻的任務(wù)分配結(jié)果；

根據(jù)所述任務(wù)分配結(jié)果，更新所述任務(wù)分配模型的模型參數(shù)。

第二方面，本申請(qǐng)實(shí)施例提供一種任務(wù)分配方法，應(yīng)用于執(zhí)行設(shè)備，所述執(zhí)行設(shè)備配置有預(yù)訓(xùn)練的位置模型以及任務(wù)分配模型，所述預(yù)訓(xùn)練的位置模型以及任務(wù)分配模型由所述的模型構(gòu)建方法進(jìn)行訓(xùn)練獲得，所述方法包括：

獲取第二無人機(jī)當(dāng)前時(shí)刻的第三狀態(tài)；

根據(jù)所述第三狀態(tài)，通過所述位置模型確定所述第二無人機(jī)在下一時(shí)刻的預(yù)測位置；

根據(jù)所述第二無人機(jī)在下一時(shí)刻的預(yù)測位置，確定所述第二無人機(jī)與第二移動(dòng)終端之間的第四狀態(tài)；

根據(jù)所述第四狀態(tài)，通過所述任務(wù)分配模型確定所述第二無人機(jī)與所述第二移動(dòng)終端之間的任務(wù)分配結(jié)果。

第三方面，本申請(qǐng)實(shí)施例提供一種模型構(gòu)建裝置，所述模型構(gòu)建裝置應(yīng)用于訓(xùn)練設(shè)備，所述訓(xùn)練設(shè)備配置有待訓(xùn)練的位置模型以及任務(wù)分配模型，所述模型構(gòu)建裝置包括：

模型初始模塊，用于將所述位置模型、所述任務(wù)分配模型、第一無人機(jī)的狀態(tài)以及第一移動(dòng)終端的狀態(tài)進(jìn)行初始化，其中，所述第一無人機(jī)用于為所述第一移動(dòng)終端提供邊緣計(jì)算服務(wù)；

模型初始模塊，用于初始化所述位置模型、所述任務(wù)分配模型、第一無人機(jī)的狀態(tài)以及第一移動(dòng)終端的狀態(tài)，其中，所述第一無人機(jī)用于為所述第一移動(dòng)終端提供邊緣計(jì)算服務(wù)；