[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算分流決策方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810343312.0
• 申請(qǐng)日: 2018-04-17
• 公開（公告）號(hào): CN108632861B
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 黃亮;馮旭;錢麗萍;吳遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): H04W24/02
• 分類號(hào): H04W24/02;H04W28/10;H04W28/06
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算分流決策方法，包括以下步驟：1)計(jì)算出在給出分流決策下移動(dòng)通信系統(tǒng)中所有的能量損耗；2)當(dāng)用戶任務(wù)被分流時(shí)，計(jì)算出在傳輸過(guò)程及處理過(guò)程中的延時(shí)損耗；3)通過(guò)深度強(qiáng)化學(xué)習(xí)算法來(lái)尋找一個(gè)最優(yōu)的分流決策方案；4)所有用戶的分流決策x_nm和上下行速率和作為強(qiáng)化學(xué)習(xí)的系統(tǒng)狀態(tài)x_t，動(dòng)作a則是對(duì)系統(tǒng)狀態(tài)x_t的更改，如果改后的系統(tǒng)的總損耗比之前的要小，則使當(dāng)前獎(jiǎng)勵(lì)r(x_t，a)設(shè)為正值，反之設(shè)為負(fù)值，同時(shí)系統(tǒng)進(jìn)入下一狀態(tài)x_t+1，不斷重復(fù)這個(gè)迭代過(guò)程直到得到最佳分流決策x_nm和上下行速率和本發(fā)明在保證用戶體驗(yàn)的前提下最小化能量損耗。

技術(shù)領(lǐng)域

本發(fā)明屬于通信領(lǐng)域，尤其是涉及移動(dòng)邊緣計(jì)算的通信系統(tǒng)以及用于基站節(jié)點(diǎn)的基于深度強(qiáng)化學(xué)習(xí)的用戶任務(wù)分流決策方法。

背景技術(shù)

隨著無(wú)線通信技術(shù)的廣泛發(fā)展，無(wú)線通信技術(shù)已經(jīng)滲入到人類生活的方方面面。移動(dòng)邊緣計(jì)算拓展了移動(dòng)設(shè)備的能力，在豐富的云資源的幫助下，用戶體驗(yàn)得到極大提升。在一個(gè)多用戶的移動(dòng)通信系統(tǒng)中，所有用戶共同占用傳輸資源。用戶將自身的任務(wù)分流至基站或者云端時(shí)，可以減少自己的能量損耗，但這些被分流的任務(wù)的服務(wù)質(zhì)量會(huì)受一些額外損耗的影響，比如傳輸延時(shí)。為了最小化所有的能量損耗，傳輸損耗和延時(shí)損耗，保證服務(wù)質(zhì)量，最優(yōu)的任務(wù)分流決策方法應(yīng)用是很有必要的。

發(fā)明內(nèi)容

為了克服現(xiàn)有移動(dòng)通信系統(tǒng)的能量損耗較大的不足，為了最小化系統(tǒng)中所有的能量損耗，傳輸損耗和延時(shí)損耗，保證服務(wù)質(zhì)量，本發(fā)明提供了一種適用于移動(dòng)邊緣計(jì)算的基于深度強(qiáng)化學(xué)習(xí)的分流決策方法，在保證用戶體驗(yàn)的前提下最小化能量損耗。

本發(fā)明解決其技術(shù)問題所采取的技術(shù)方案是：

一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算分流決策方法，所述方法，包括以下步驟：

1)在一個(gè)由多個(gè)用戶組成，并且每個(gè)用戶都有多個(gè)獨(dú)立的任務(wù)的移動(dòng)通信系統(tǒng)中，x_nm為用戶n的任務(wù)m的分流決策，如果x_nm為1則表示用戶n的任務(wù)m將被分流至基站或云端處理，x_nm為0則表示在本地處理；當(dāng)用戶n的任務(wù)m被分流時(shí)，其上行傳輸速率和下行傳輸速率受傳輸總帶寬C_U和C_D的限制；當(dāng)用戶n的任務(wù)m在本地處理時(shí)，本地移動(dòng)設(shè)備所產(chǎn)生的能量損耗為如果在云端處理時(shí)，所產(chǎn)生的能量損耗為系統(tǒng)總損耗最小化表示為：

約束條件為：

式中：

其中，各參數(shù)定義如下：

N：用戶人數(shù)；

M：每個(gè)用戶的任務(wù)數(shù)；

x_nm：用戶n的任務(wù)m的分流決策，為1時(shí)表示在云端處理，為0時(shí)在本地處理；

用戶n的任務(wù)m在本地處理時(shí)的能量損耗；

用戶n的任務(wù)m被分流時(shí)，傳輸過(guò)程中能量損耗；

用戶n的任務(wù)m在云端處理時(shí)的能量損耗；

ρ：在云端處理時(shí)，能量損耗的轉(zhuǎn)化權(quán)重；

ω_n：用戶n延時(shí)損耗的轉(zhuǎn)化權(quán)重；

用戶n的任務(wù)m在本地處理時(shí)的延時(shí)損耗；

用戶n的任務(wù)在云端處理時(shí)的總延時(shí)損耗；