[發(fā)明專利]基于博弈的Q學(xué)習(xí)競爭窗口調(diào)整方法、系統(tǒng)及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011620219.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112637965B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計）人: 俞暉;毛中杰;王政
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: H04W74/08
• 分類號: H04W74/08
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供了一種基于博弈的Q學(xué)習(xí)競爭窗口調(diào)整方法、系統(tǒng)及介質(zhì)，包括：步驟1：初始化網(wǎng)絡(luò)節(jié)點設(shè)置，進行自組網(wǎng)并建立路由表；步驟2：全網(wǎng)節(jié)點通過路由表獲知一跳鄰居節(jié)點個數(shù)，并廣播至鄰居節(jié)點；步驟3：計算節(jié)點在網(wǎng)絡(luò)中的權(quán)重大小并進行廣播；步驟4：根據(jù)網(wǎng)絡(luò)差異性采取不同退避策略；步驟5：網(wǎng)絡(luò)中各節(jié)點按照步驟4產(chǎn)生的競爭窗口狀態(tài)集合進行Q學(xué)習(xí)，輸出最優(yōu)競爭窗口區(qū)間，并依此進行通信；步驟6：網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)發(fā)生改變或業(yè)務(wù)負(fù)載產(chǎn)生較大波動后，重復(fù)執(zhí)行步驟2?5。本發(fā)明使用博弈論對網(wǎng)絡(luò)場景進行分析，確定不同節(jié)點進行Q學(xué)習(xí)的狀態(tài)集合，然后利用Q學(xué)習(xí)算法產(chǎn)生決策，更新競爭窗口區(qū)間，以達到優(yōu)化整體網(wǎng)絡(luò)性能的大小。

技術(shù)領(lǐng)域

本發(fā)明涉及移動自組織網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體地，涉及一種基于博弈的Q學(xué)習(xí)競爭窗口調(diào)整方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

近年來，隨著無線通信技術(shù)的迅速發(fā)展，移動自組織網(wǎng)絡(luò)憑借其移動性高、適應(yīng)性強和成本低等特點被廣泛應(yīng)用于各個領(lǐng)域，比如抗震救災(zāi)，遠程偵查等無公網(wǎng)區(qū)域。與此同時，移動自組織網(wǎng)絡(luò)動態(tài)性強和拓?fù)洳町愋源蟮奶攸c給網(wǎng)絡(luò)設(shè)計帶來了一定挑戰(zhàn)，尤其對接入?yún)f(xié)議中的退避算法的設(shè)計提出了很高的要求。

目前在移動自組織網(wǎng)絡(luò)中應(yīng)用廣泛的接入技術(shù)是帶有沖突避免的載波偵聽多路訪問(Carrier Sense Multiple Access with Collision Avoid,CSMA/CA)協(xié)議和二進制指數(shù)退避(Binary Exponential Back-off,BEB)算法。但是現(xiàn)有的退避算法無法適應(yīng)移動自組織網(wǎng)絡(luò)高動態(tài)性以及拓?fù)洳町愋源蟮奶攸c，由于網(wǎng)絡(luò)協(xié)議中參數(shù)眾多且算法繁雜，這些都可能對最終某項指標(biāo)產(chǎn)生影響，并且這種影響難以通過數(shù)學(xué)公式表達，找到閉式最優(yōu)解，因此大量研究采用機器學(xué)習(xí)的方法對移動自組織網(wǎng)絡(luò)進行優(yōu)化?；诙嘀悄荏wQ學(xué)習(xí)的車載通信MAC層信道接入技術(shù)研究將Q-Learning算法引入車載自組織網(wǎng)絡(luò)，提出了一種基于Q-Learning的動態(tài)調(diào)整競爭窗口算法：車輛節(jié)點在通信過程中，總是選擇使得累積獎賞值最大的CW值進行退避，從而達到提高傳輸成功率并降低時延的效果，但是沒有考慮到移動自組網(wǎng)中拓?fù)洳町愋源蟮娜秉c。

移動自組織網(wǎng)絡(luò)中，由于節(jié)點的移動性以及網(wǎng)絡(luò)場景的復(fù)雜性，經(jīng)常出現(xiàn)多跳的通信方式。在這種分布式通信網(wǎng)絡(luò)中，由于節(jié)點的地理位置等因素，導(dǎo)致不同節(jié)點在網(wǎng)絡(luò)中的負(fù)載有所不同。對于處于網(wǎng)絡(luò)中心的節(jié)點，其具有更多的鄰居節(jié)點，相應(yīng)的將承擔(dān)更多的轉(zhuǎn)發(fā)業(yè)務(wù)，從而導(dǎo)致其業(yè)務(wù)負(fù)載較大；對于處于網(wǎng)絡(luò)邊緣的節(jié)點，其具有較少的鄰居節(jié)點，往往不承擔(dān)或者承擔(dān)較少的轉(zhuǎn)發(fā)業(yè)務(wù)，導(dǎo)致其業(yè)務(wù)負(fù)載偏小。本章針對節(jié)點的上述差異性，提出一種基于博弈的強化學(xué)習(xí)退避窗口設(shè)計方案，通過對不同節(jié)點設(shè)置針對性的退避窗口區(qū)間大小，提升整體的網(wǎng)絡(luò)性能。

專利文獻CN107426772A(申請?zhí)枺篊N201710537493.6)公開了一種基于Q學(xué)習(xí)的動態(tài)競爭窗口調(diào)整方法、裝置及設(shè)備，該方法包括：A、初始化信道接入?yún)?shù)和初始煺火溫度；B、在初始競爭窗口大小下，傳輸并獲取數(shù)據(jù)包傳輸?shù)牡谝煌掏铝?；C、在第一吞吐量下，采取模擬煺火算法，得到第一競爭窗口大小；D、在第一競爭窗口大小下，獲取數(shù)據(jù)包傳輸?shù)牡诙掏铝?；E、將第二吞吐量和目標(biāo)吞吐量按照預(yù)設(shè)公式更新Q值表，并利用預(yù)設(shè)條件，更新初始煺火溫度，得到更新后的煺火溫度；當(dāng)更新后的煺火溫度大于最小閾值時，將更新后的煺火溫度作為初始煺火溫度，執(zhí)行B至E，重復(fù)更新Q值表及得到更新后的煺火溫度，直至更新后的煺火溫度小于或等于最小閾值時，停止更新Q值表，得到最優(yōu)競爭窗口。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于博弈的Q學(xué)習(xí)競爭窗口調(diào)整方法、系統(tǒng)及介質(zhì)。

根據(jù)本發(fā)明提供的基于博弈的Q學(xué)習(xí)競爭窗口調(diào)整方法，包括：

步驟1：初始化網(wǎng)絡(luò)節(jié)點設(shè)置，包括通信協(xié)議、網(wǎng)絡(luò)拓?fù)洹I(yè)務(wù)到達模型和物理層標(biāo)準(zhǔn)，開始通信后網(wǎng)絡(luò)通過廣播路由信息的方式，進行自組網(wǎng)并建立路由表，初始狀態(tài)下，節(jié)點按照默認(rèn)競爭窗口大小進行退避，此后按照Q學(xué)習(xí)算法輸出的動作調(diào)整競爭窗口大小進行退避；