[發(fā)明專(zhuān)利]基于深度強(qiáng)化學(xué)習(xí)的V2V通信多車(chē)輛任務(wù)卸載方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211680823.4
• 申請(qǐng)日: 2022-12-27
• 公開(kāi)（公告）號(hào): CN116017572A
• 公開(kāi)（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 王秋;苗建;林欣;王強(qiáng);徐觀潮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇寧滬高速公路股份有限公司
• 主分類(lèi)號(hào): H04W28/08
• 分類(lèi)號(hào): H04W28/08;H04W28/22;H04W4/46
• 代理公司: 常州聯(lián)正專(zhuān)利代理事務(wù)所(普通合伙) 32546
• 代理人: 張?jiān)?/td>

1.一種基于深度強(qiáng)化學(xué)習(xí)的V2V通信多車(chē)輛任務(wù)卸載方法，其特征在于，包括如下步驟：

(1)將任務(wù)車(chē)輛HV的計(jì)算任務(wù)卸載給周邊的多輛具有計(jì)算資源的遠(yuǎn)車(chē)RV，同時(shí)利用中繼車(chē)輛REV進(jìn)行多跳來(lái)傳輸任務(wù)；

(2)分別計(jì)算得到單跳V2V任務(wù)卸載的傳輸時(shí)延和利用中繼車(chē)輛的多跳V2V任務(wù)卸載的傳輸時(shí)延；

(3)計(jì)算利用中繼車(chē)輛的多跳V2V任務(wù)卸載的傳輸中斷概率；

(4)根據(jù)步驟(2)計(jì)算得到的傳輸時(shí)延以及步驟(3)得到的傳輸中斷概率，在保證任務(wù)卸載傳輸成功率的同時(shí)，對(duì)任務(wù)車(chē)輛卸載過(guò)程的功率和傳輸時(shí)延進(jìn)行優(yōu)化；

(5)根據(jù)步驟(4)的優(yōu)化目標(biāo)，運(yùn)用深度強(qiáng)化學(xué)習(xí)DDPG算法解決優(yōu)化問(wèn)題。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的V2V通信多車(chē)輛任務(wù)卸載方法，其特征在于，步驟(1)中，在每個(gè)時(shí)刻任務(wù)車(chē)輛都有一個(gè)大小為x_t的任務(wù)，通過(guò)算法計(jì)算拆分為多個(gè)子任務(wù)，通過(guò)PC5接口卸載給一輛或者多輛計(jì)算車(chē)輛計(jì)算，或通過(guò)中繼車(chē)輛卸載給通信范圍外的計(jì)算車(chē)輛。

3.根據(jù)權(quán)利要求1或2所述的基于深度強(qiáng)化學(xué)習(xí)的V2V通信多車(chē)輛任務(wù)卸載方法，其特征在于，步驟(2)中，任務(wù)車(chē)輛可以根據(jù)任務(wù)量和計(jì)算車(chē)輛的計(jì)算資源和信道狀態(tài)，計(jì)算得到單跳V2V任務(wù)卸載的傳輸時(shí)延和利用中繼車(chē)輛的多跳V2V任務(wù)卸載的傳輸時(shí)延；

不選中中繼車(chē)輛的單跳V2V任務(wù)卸載，傳輸時(shí)延表示為：

其中，

x_t表示在t時(shí)刻生成的任務(wù)數(shù)據(jù)大小；

y_t表示卸載任務(wù)后反饋結(jié)果的數(shù)據(jù)量大小；

表示HV和RVn的上行傳輸速率；

表示HV和RVn的下行傳輸速率；

ω_t表示RV的計(jì)算強(qiáng)度；

f_t,n表示t時(shí)段處理HV任務(wù)所分配的CPU頻率，其中f_t,n∈[0,F_n]；

F_n是RVn的最大CPU頻率；

具體的HV和RVn的上行傳輸速率和下行傳輸速率表示如下：

其中，是每個(gè)時(shí)刻分配的傳輸功率，W是信道帶寬，σ²是噪聲功率，P是RVn反饋結(jié)果所給定的固定發(fā)射功率，無(wú)線(xiàn)信道狀態(tài)表示的是HV到RVn之間在時(shí)刻t的狀態(tài)，與是任務(wù)卸載給RVn時(shí)的干擾；

任務(wù)車(chē)輛通過(guò)中繼多跳傳輸?shù)絉Vn的任務(wù)卸載傳輸時(shí)延表示為：

其中，

d_up(t,z)是第z跳下的上行無(wú)線(xiàn)信道傳輸時(shí)延，是傳輸?shù)娜蝿?wù)量大小比上第z跳的上行傳輸速率表示如下：

d_down(t,e)是第e跳下的下行無(wú)線(xiàn)信道傳輸時(shí)延，是傳輸?shù)娜蝿?wù)量大小比上第e跳的上行傳輸速率表示如下：

d_com(t,n)是任務(wù)傳輸?shù)接?jì)算車(chē)輛RV時(shí)，在計(jì)算車(chē)輛RV上的計(jì)算時(shí)延，表示如下：