[發(fā)明專利]基于TD3算法的計(jì)算卸載分配方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011251177.0
• 申請(qǐng)日: 2020-11-11
• 公開（公告）號(hào): CN112600869B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 趙莎莎;秦立丹;張登銀;孫晨輝;周曉宇;朱子潔;何培源
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): H04L67/10
• 分類號(hào): H04L67/10;H04L67/101;H04L67/1023;G06N20/00;G06N3/08;G16Y20/30
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 丁朋華

1.一種基于TD3算法的計(jì)算卸載分配方法，其特征在于，包括步驟：

獲取計(jì)算卸載系統(tǒng)狀態(tài)，將計(jì)算卸載系統(tǒng)狀態(tài)輸入預(yù)先訓(xùn)練好的計(jì)算卸載TD3網(wǎng)絡(luò)的演員當(dāng)前網(wǎng)絡(luò)，得到計(jì)算卸載比例和計(jì)算卸載發(fā)射功率；

所述計(jì)算卸載系統(tǒng)狀態(tài)包括：物聯(lián)網(wǎng)設(shè)備到邊緣服務(wù)器的信道增益、物聯(lián)網(wǎng)設(shè)備的電池電量和可收集的可再生能源能量；

在t+1時(shí)隙，物聯(lián)網(wǎng)設(shè)備的電池電量b^t+1表達(dá)為：

為本地物聯(lián)網(wǎng)設(shè)備執(zhí)行計(jì)算任務(wù)需要的能量消耗，為：

E^t₁為t時(shí)隙將卸載任務(wù)從本地物聯(lián)網(wǎng)設(shè)備發(fā)送到邊緣服務(wù)器需要的功率為卸載執(zhí)行功耗，為：

其中，k為物聯(lián)網(wǎng)設(shè)備芯片的電容有效系數(shù)，b^t表示t時(shí)隙物聯(lián)網(wǎng)設(shè)備的電池電量；B為物聯(lián)網(wǎng)設(shè)備到邊緣服務(wù)器的帶寬，p^t為t時(shí)隙物聯(lián)網(wǎng)設(shè)備的計(jì)算卸載發(fā)送功率，σ為噪聲功率，h^t為t時(shí)隙物聯(lián)網(wǎng)設(shè)備用戶的信道增益；x^t為計(jì)算任務(wù)卸載比例；C^t為計(jì)算任務(wù)的計(jì)算量；本地IoT設(shè)備CPU的頻率為f，N為CPU處理1bit數(shù)據(jù)所需的周期數(shù)；e^t為t時(shí)隙可收集的可再生能源能量；

計(jì)算卸載TD3網(wǎng)絡(luò)訓(xùn)練步驟包括：

1)初始化TD3網(wǎng)絡(luò)；

2)初始化計(jì)算卸載系統(tǒng)狀態(tài)，設(shè)置批評(píng)家當(dāng)前網(wǎng)絡(luò)參數(shù)更新次數(shù)為0，將計(jì)算卸載系統(tǒng)狀態(tài)s^t輸入TD3網(wǎng)絡(luò)，得到計(jì)算卸載系統(tǒng)動(dòng)作決策；構(gòu)建訓(xùn)練樣本；

3)每次訓(xùn)練從經(jīng)驗(yàn)池中抽取M個(gè)樣本訓(xùn)練TD3網(wǎng)絡(luò)，更新批評(píng)家當(dāng)前網(wǎng)絡(luò)參數(shù)；批評(píng)家當(dāng)前網(wǎng)絡(luò)參數(shù)更新次數(shù)每更新指定次數(shù)后，則對(duì)演員當(dāng)前網(wǎng)絡(luò)參數(shù)通過損失梯度更新，以及使用軟更新方式更新演員目標(biāo)網(wǎng)絡(luò)參數(shù)和批評(píng)家目標(biāo)網(wǎng)絡(luò)參數(shù)；若批評(píng)家當(dāng)前網(wǎng)絡(luò)參數(shù)更新大于訓(xùn)練總次數(shù)，則本回合訓(xùn)練結(jié)束，回合更新數(shù)加1；若回合更新數(shù)沒有達(dá)到指定回合更新總次數(shù)則繼續(xù)執(zhí)行步驟2)，進(jìn)行下一回合訓(xùn)練，否則執(zhí)行步驟4)；

4)保存訓(xùn)練好的TD3網(wǎng)絡(luò)中的演員當(dāng)前網(wǎng)絡(luò)參數(shù)；

訓(xùn)練樣本構(gòu)建步驟包括：

初始化TD3網(wǎng)絡(luò)；

初始化計(jì)算卸載系統(tǒng)狀態(tài)s^t；

將計(jì)算卸載系統(tǒng)狀態(tài)s^t輸入TD3網(wǎng)絡(luò)中的演員當(dāng)前網(wǎng)絡(luò)，演員當(dāng)前網(wǎng)絡(luò)根據(jù)策略函數(shù)做出動(dòng)作決策，得到t時(shí)隙的計(jì)算卸載系統(tǒng)動(dòng)作a^t；

物聯(lián)網(wǎng)設(shè)備根據(jù)t時(shí)隙的計(jì)算卸載系統(tǒng)動(dòng)作a^t執(zhí)行計(jì)算任務(wù)，得到下一時(shí)隙t+1的計(jì)算卸載系統(tǒng)狀態(tài)s^t+1，并計(jì)算得到t時(shí)隙獎(jiǎng)勵(lì)值R^t；將樣本[s^t,a^t,R^t,s^t+1]保存到經(jīng)驗(yàn)池中，如果樣本經(jīng)驗(yàn)池中樣本沒有達(dá)到經(jīng)驗(yàn)池容量W，則將下一時(shí)隙的計(jì)算卸載系統(tǒng)狀態(tài)s^t+1輸入到演員當(dāng)前網(wǎng)絡(luò)，生成下一時(shí)隙的計(jì)算卸載系統(tǒng)動(dòng)作a^t+1，直到樣本經(jīng)驗(yàn)池滿；

計(jì)算卸載系統(tǒng)動(dòng)作a^t表示為：

a^t＝[x^t,p^t]

其中，計(jì)算卸載比例x^t∈[0,1]，p^t∈[0,p^max]，p^max為物聯(lián)網(wǎng)設(shè)備發(fā)射功率最大值；

t時(shí)隙獎(jiǎng)勵(lì)值R^t：

其中，表示t時(shí)隙的計(jì)算任務(wù)的本地執(zhí)行時(shí)延，T₁^t表示t時(shí)隙的計(jì)算任務(wù)的卸載傳輸時(shí)延，表示t時(shí)隙計(jì)算任務(wù)完全本地執(zhí)行的時(shí)延；I(b^t+1≤0)表示任務(wù)丟棄指示函數(shù)，為任務(wù)丟棄權(quán)重，E^t₁為t時(shí)隙卸載執(zhí)行功耗，為本地IoT設(shè)備執(zhí)行計(jì)算任務(wù)需要的能量消耗。