[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的軟件定義車載任務(wù)細(xì)粒度卸載方法

有效

• 申請?zhí)枺?/td>: 202010571179.1
• 申請日: 2020-06-22
• 公開（公告）號: CN111866807B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 李致遠(yuǎn);彭二帥;潘森杉;畢俊蕾;張威威
• 申請（專利權(quán)）人: 江蘇大學(xué)
• 主分類號: H04W4/44
• 分類號: H04W4/44;H04W24/02;H04W24/06;H04W28/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于深度強(qiáng)化學(xué)習(xí)的軟件定義車載任務(wù)細(xì)粒度卸載方法，包括步驟：1.獲取車輛可接入RSU的信息、車輛任務(wù)的信息等；2.根據(jù)步驟1中的RSU的信息劃分車載任務(wù)的卸載時(shí)隙；3.將車載任務(wù)卸載時(shí)隙決策方法轉(zhuǎn)化為數(shù)學(xué)問題；4.使用深度強(qiáng)化學(xué)習(xí)方法求解步驟3中的數(shù)學(xué)問題；5.將算法部署至SDN控制器。本發(fā)明能充分利用卸載時(shí)隙而減少卸載造成的網(wǎng)絡(luò)傳輸延遲。本發(fā)明制定卸載時(shí)隙決策時(shí)充分考慮包括車輛與RSU的相對位置、RSU中接入的車輛的數(shù)目、RSU所需要接收的車載任務(wù)的數(shù)量等因素，能夠有效降低車輛任務(wù)的卸載延時(shí)。

技術(shù)領(lǐng)域

本發(fā)明屬于車載移動(dòng)邊緣計(jì)算領(lǐng)域，是車載任務(wù)卸載時(shí)隙決策方法，適用于小型基站(small-cell base stations)環(huán)境中，特別適合局域網(wǎng)內(nèi)的小型基站負(fù)載均衡。

背景技術(shù)

隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，移動(dòng)邊緣計(jì)算(Mobile Edge Computing，MEC)已經(jīng)成為物聯(lián)網(wǎng)技術(shù)的重要組成部分。用戶可通過無線接入點(diǎn)如基站、路側(cè)單元(Road SideUnit，RSU)等接入移動(dòng)邊緣計(jì)算。MEC可以為用戶提供計(jì)算、存儲(chǔ)等資源。這些特點(diǎn)在車輛網(wǎng)絡(luò)中獲得了廣泛的應(yīng)用：車輛邊緣計(jì)算(Vehicle Edge Computing，VEC)是近年來發(fā)展起來的一種新的網(wǎng)絡(luò)模式。

車輛網(wǎng)絡(luò)中的應(yīng)用可以讓車輛出行更加便捷、安全。隨著車輛應(yīng)用的不斷發(fā)展，如道路實(shí)時(shí)分析、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等需要強(qiáng)大的計(jì)算能力與大量存儲(chǔ)空間的應(yīng)用越來越多，需要傳輸?shù)臄?shù)據(jù)內(nèi)容也越來越多。目前主流的車輛任務(wù)卸載的研究多集中在計(jì)算資源的分配方面。多數(shù)車載任務(wù)卸載時(shí)隙決策是隨機(jī)選擇，這并不能充分利用卸載時(shí)隙而減少卸載造成的網(wǎng)絡(luò)傳輸延遲。影響任務(wù)卸載時(shí)隙的因素包括當(dāng)前車輛與RSU的相對位置、當(dāng)前RSU中接入的車輛的數(shù)目、當(dāng)前RSU所需要接收的車載任務(wù)的數(shù)量等。

綜合以上情況，需要提出一種車載任務(wù)卸載時(shí)隙決策方法，它能夠應(yīng)對車載任務(wù)的卸載情景并可考慮多種影響因素。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提出一種基于深度學(xué)習(xí)的軟件定義車載任務(wù)卸載時(shí)隙決策方法，主要研究通過軟件定義網(wǎng)絡(luò)(Software Defined Network，SDN)獲取網(wǎng)絡(luò)全局的狀態(tài)感知數(shù)據(jù)，例如網(wǎng)絡(luò)中RSU中接入的車輛的數(shù)目、MEC服務(wù)器的負(fù)載狀態(tài)、RSU網(wǎng)絡(luò)延遲等，并在此基礎(chǔ)上結(jié)合深度學(xué)習(xí)模型構(gòu)建自適應(yīng)優(yōu)化決策給出局部卸載、全局卸載及最佳車載任務(wù)卸載時(shí)隙的建議，以解決車載任務(wù)卸載時(shí)造成的延時(shí)過高問題，該方法包括如下步驟：

步驟1，獲取信息：車輛可接入的RSU的集合r、請求在RSU區(qū)域中的卸載的車輛任務(wù)Q、RSU的網(wǎng)絡(luò)帶寬b；

步驟2，根據(jù)步驟1中的RSU的信息劃分車載任務(wù)的卸載時(shí)隙；

步驟3，將車載任務(wù)卸載時(shí)隙決策方法進(jìn)行建模；

步驟4，使用深度強(qiáng)化學(xué)習(xí)方法求解步驟3中的模型表達(dá)式；

步驟5，將算法部署至SDN控制器。

進(jìn)一步，步驟1中的所述信息包括：

①將RSU區(qū)域中的卸載任務(wù)記為q＝{Q₁,…Q_i,…,Q_n}，其中Q_i表示第i輛車的任務(wù)；

②車載任務(wù)大小記為m＝{M₁,…,M_i,…M_n}，其中M_i表示Q_i的大小；

③車載任務(wù)的延時(shí)約束記為t＝{T₁,…,T_i,…,T_n}，其中T_i即為Q_i的時(shí)延約束；