[發明專利]基于深度強化學習的V2V通信多車輛任務卸載方法

在審

• 申請號: 202211680823.4
• 申請日: 2022-12-27
• 公開（公告）號: CN116017572A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王秋;苗建;林欣;王強;徐觀潮
• 申請（專利權）人: 江蘇寧滬高速公路股份有限公司
• 主分類號: H04W28/08
• 分類號: H04W28/08;H04W28/22;H04W4/46
• 代理公司: 常州聯正專利代理事務所(普通合伙) 32546
• 代理人: 張岳

本發明涉及一種基于深度強化學習的V2V通信多車輛任務卸載方法，包括如下步驟：將任務車輛HV的計算任務卸載給周邊的多輛具有計算資源的遠車RV，同時利用中繼車輛REV進行多跳來傳輸任務；分別計算得到單跳V2V任務卸載的傳輸時延和利用中繼車輛的多跳V2V任務卸載的傳輸時延；計算利用中繼車輛的多跳V2V任務卸載的傳輸中斷概率；在保證任務卸載傳輸成功率的同時，對任務車輛卸載過程的功率和傳輸時延進行優化；根據優化目標，運用深度強化學習DDPG算法解決優化問題。與其他權衡通信時延和功耗兩者的任務卸載方案相比，本發明能夠在保證任務卸載成功率的同時，對于傳輸時延與功耗之間的權衡，也有著更好的性能。

技術領域：

本發明涉及V2V通信的多車輛任務卸載領域，特別涉及一種基于深度強化學習的V2V通信多車輛任務卸載方法。

背景技術：

隨著車聯網的快速發展，傳統的MEC技術已經無法滿足任務卸載的需求，特別是在自動駕駛等車聯網應用，對任務卸載提出了低時延高可靠性的需求。任務卸載方向從MEC逐漸轉向了V2V。

車輛對車輛(V2V)通信是車輛之間在有效的通信范圍內直接進行信息的交互，能夠極大的減輕基站的負擔，滿足車聯網應用低時延高可靠性的需求，同時V2V也極大的提高了周邊空閑計算資源的資源利用率。為了滿足V2V通信系統低延遲、高可靠性的通信要求，有必要研究并提出更合理有效的任務卸載和增強方案。

傳統的V2V通信任務卸載算法沒有考慮到車聯網動態變化的特性，但是由于車輛的快速移動會導致網絡拓撲不斷發生變化，交通的不可預測性更是V2V通信技術的一大難題，不考慮實際車聯網場景的動態變化過程，就不能優化長期的系統性能。V2V通信對時延和可靠性提出了更為嚴苛的要求，但是大部分V2V通信任務卸載算法無法權衡好通信時延和功耗兩者的關系。近期的一項研究考慮了將深度強化學習算法與車聯網的動態環境相結合，但延遲和可靠性的優化有待提高。特別是，仍然有許多計算資源沒有得到利用，造成了資源的巨大浪費。

發明內容：

本發明所要解決的技術問題是，在存在中繼車輛的情況下面向V2V通信的任務卸載方法，該方法能夠在保證任務卸載成功率的同時，對于傳輸時延與功耗之間的權衡，也有著更好的性能。

本發明是通過如下技術方案實現的：

一種基于深度強化學習的V2V通信多車輛任務卸載方法，該方法包括以下步驟：

(1)V2V的多車輛任務卸載可以將任務車輛HV的計算任務卸載給周邊的多輛具有計算資源的遠車RV，同時可以利用中繼車輛REV進行多跳來傳輸任務；

(2)分別計算得到單跳V2V任務卸載的傳輸時延和利用中繼車輛的多跳V2V任務卸載的傳輸時延；

(3)計算利用中繼車輛的多跳V2V任務卸載的傳輸中斷概率；

(4)根據步驟(2)計算得到的傳輸時延以及步驟(3)得到的傳輸中斷概率，在保證任務卸載傳輸成功率的同時，對任務車輛卸載過程的功率和傳輸時延進行優化；

(5)根據步驟(4)的優化目標，運用深度強化學習DDPG算法解決優化問題。

其中，所述步驟(1)是指在每個時刻任務車輛都有一個大小為x_t的任務通過算法計算拆分為多個子任務，通過PC5接口卸載給一輛或者多輛計算車輛計算，也可以通過中繼車輛卸載給通信范圍外的計算車輛。

步驟(2)中，任務車輛可以根據任務量和計算車輛的計算資源和信道狀態，計算得到單跳V2V任務卸載的傳輸時延和利用中繼車輛的多跳V2V任務卸載的傳輸時延。

不選中中繼車輛的單跳V2V任務卸載，傳輸時延表示為：

其中，

x_t表示在t時刻生成的任務數據大小；