[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的無人機(jī)任務(wù)卸載策略的確定方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110135702.0
• 申請(qǐng)日: 2021-02-01
• 公開（公告）號(hào): CN112835715B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 羅晶晶;李慧;鄭福春;高林;張欽宇
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N20/00
• 代理公司: 北京金宏來專利代理事務(wù)所(特殊普通合伙) 11641
• 代理人: 李東梅

1.基于強(qiáng)化學(xué)習(xí)的無人機(jī)任務(wù)卸載策略的確定方法，其特征在于，所述方法應(yīng)用于移動(dòng)邊緣網(wǎng)絡(luò)系統(tǒng)，所述移動(dòng)邊緣網(wǎng)絡(luò)系統(tǒng)包括基站，以及在移動(dòng)邊緣網(wǎng)絡(luò)區(qū)域執(zhí)行應(yīng)用服務(wù)并生成計(jì)算任務(wù)的無人機(jī)，所述基站配置了用于為無人機(jī)提供邊緣計(jì)算服務(wù)的邊緣服務(wù)器，所述任務(wù)卸載策略包括任務(wù)卸載決策和本地資源分配決策，所述方法包括：

S1:將無人機(jī)的計(jì)算任務(wù)建模為DAG模型，計(jì)算任務(wù)由多個(gè)不可再拆分且有序執(zhí)行的子計(jì)算任務(wù)組成；

S2:確定無人機(jī)產(chǎn)生的每個(gè)計(jì)算任務(wù)的任務(wù)卸載策略以最小化無人機(jī)工作期間內(nèi)所有計(jì)算任務(wù)的平均計(jì)算代價(jià)，所述任務(wù)卸載策略用于確定計(jì)算任務(wù)的所有子計(jì)算任務(wù)中需要卸載到邊緣服務(wù)器計(jì)算處理的子計(jì)算任務(wù)和在無人機(jī)本地計(jì)算處理的子計(jì)算任務(wù)；

所述步驟S2中確定無人機(jī)產(chǎn)生的每個(gè)計(jì)算任務(wù)的任務(wù)卸載策略之前還包括為無人機(jī)產(chǎn)生的每個(gè)計(jì)算任務(wù)搭建任務(wù)卸載模型，具體為：

定義一個(gè)指示變量m_j∈{0,1,2,...,M}來表示第j個(gè)計(jì)算任務(wù)的任務(wù)卸載決策，即計(jì)算任務(wù)前m_j個(gè)子計(jì)算任務(wù)在無人機(jī)本地計(jì)算處理，后M-m_j個(gè)子計(jì)算任務(wù)在邊緣服務(wù)器計(jì)算處理，其中M指組成單個(gè)計(jì)算任務(wù)的子任務(wù)總數(shù)；

具體的DAG拆分模型如下：

A(m_j)＝{L(m_j),B(m_j),Z(m_j)}

其中L(m_j)表示第j個(gè)計(jì)算任務(wù)的拆分后所需的無人機(jī)本地計(jì)算資源；B(m_j)表示第j個(gè)計(jì)算任務(wù)的拆分后所需的邊緣服務(wù)器計(jì)算資源；Z(m_j)表示第j個(gè)計(jì)算任務(wù)的拆分后無人機(jī)需要傳輸?shù)妮斎氡忍亓浚?/p>

無人機(jī)計(jì)算任務(wù)的計(jì)算代價(jià)包括計(jì)算任務(wù)的延時(shí)損耗T(j)，所述計(jì)算任務(wù)的延時(shí)損耗包括：計(jì)算任務(wù)在本地計(jì)算處理時(shí)間，無人機(jī)傳輸計(jì)算任務(wù)需要卸載的數(shù)據(jù)到邊緣服務(wù)器的時(shí)間，以及計(jì)算任務(wù)在邊緣服務(wù)器計(jì)算處理的時(shí)間；對(duì)于無人機(jī)第j個(gè)計(jì)算任務(wù)：

根據(jù)任務(wù)拆分模型，第j個(gè)計(jì)算任務(wù)在本地計(jì)算處理的時(shí)間為：

無人機(jī)用戶傳輸?shù)趈個(gè)計(jì)算任務(wù)需要卸載的數(shù)據(jù)到邊緣服務(wù)器的時(shí)間為：

第j個(gè)計(jì)算任務(wù)在邊緣服務(wù)器計(jì)算處理的時(shí)間為：

因此，無人機(jī)第j個(gè)計(jì)算任務(wù)計(jì)算處理的總時(shí)間如下式所示：

其中，f_u無人機(jī)本地CPU頻率，f_b為邊緣服務(wù)器CPU頻率，R(j)為無人機(jī)和基站之間的通信信道傳輸速率；

無人機(jī)處理計(jì)算任務(wù)的能量損耗包括：無人機(jī)計(jì)算處理計(jì)算任務(wù)的能量損耗，以及無人機(jī)卸載計(jì)算任務(wù)需要傳輸?shù)臄?shù)據(jù)到邊緣服務(wù)器的能量損耗，對(duì)于無人機(jī)的第j個(gè)計(jì)算任務(wù)：

根據(jù)任務(wù)拆分模型，無人機(jī)計(jì)算處理第j個(gè)計(jì)算任務(wù)的能量損耗為：

E_l(j)＝L(m_j)kf_u²

其中，kf_u²表示無人機(jī)單位計(jì)算周期的能量損耗，k為系數(shù)，其值取決于芯片的架構(gòu)；

無人機(jī)用戶傳輸?shù)趈個(gè)計(jì)算任務(wù)需要卸載的數(shù)據(jù)到邊緣服務(wù)器的能量損耗為：

E_off(j)＝T_off(j)P；

因此第j個(gè)計(jì)算任務(wù)計(jì)算處理所需的無人機(jī)總能量消耗如下式所示：

Z_j(m_j)是指當(dāng)無人機(jī)對(duì)計(jì)算任務(wù)j的拆分決策為m_j時(shí)，無人機(jī)需要傳輸?shù)妮斎氡忍亓?；P為無人機(jī)用戶的傳輸功率。

2.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的無人機(jī)任務(wù)卸載策略的確定方法，其特征在于，所述無人機(jī)計(jì)算任務(wù)的計(jì)算代價(jià)為計(jì)算任務(wù)的延時(shí)損耗T(j)和無人機(jī)處理計(jì)算任務(wù)的能量損耗E(j)的加權(quán)值，對(duì)于無人機(jī)第j個(gè)計(jì)算任務(wù)，計(jì)算代價(jià)如下式所示：

C(j)＝αT(j)+βE(j)

其中，α,β為兩個(gè)權(quán)重因子α,β∈(0,1)且α+β＝1，分別表示計(jì)算任務(wù)延時(shí)損耗和無人機(jī)處理計(jì)算任務(wù)的能量損耗的加權(quán)系數(shù)。