[發(fā)明專利]一種基于多智能體Q學(xué)習(xí)的車載通信MAC層信道接入方法

有效

• 申請?zhí)枺?/td>: 201710205247.0
• 申請日: 2017-03-31
• 公開（公告）號: CN107094321B
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計）人: 趙海濤;于洪蘇;沈箬怡;杜艾芊;朱洪波
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: H04W74/08
• 分類號: H04W74/08;H04L29/08
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 李湘群

本發(fā)明公開了一種基于多智能體Q學(xué)習(xí)的車載通信MAC層信道接入方法，在VANETs環(huán)境中每個車輛節(jié)點構(gòu)建自己的聯(lián)合狀態(tài)—動作對映射關(guān)系和聯(lián)合策略；然后判斷VANET網(wǎng)絡(luò)中是否有新的車輛節(jié)點加入；若有，則新加入的車輛節(jié)點通過遷移學(xué)習(xí)快速獲取動作空間、狀態(tài)空間、和獎賞函數(shù)，此后每個車輛節(jié)點更新自己的聯(lián)合狀態(tài)—動作對關(guān)系和聯(lián)合策略；若沒有，則判斷當(dāng)前車輛節(jié)點是否有數(shù)據(jù)需要發(fā)送；若有數(shù)據(jù)要發(fā)送，則根據(jù)eCEQ算法確定滿足相關(guān)均衡的動作策略解；從動作集中選擇能使多智能體系統(tǒng)最終達到相關(guān)均衡的動作；確定CW值并以該CW值接入無線信道發(fā)送數(shù)據(jù)。本發(fā)明提高了數(shù)據(jù)成功發(fā)送的概率，減少了退避次數(shù)，數(shù)據(jù)包接收率及端到端傳輸時延問題等都得到有效改善。

技術(shù)領(lǐng)域

本發(fā)明屬于物聯(lián)網(wǎng)技術(shù)領(lǐng)域，涉及車載通信中的基于多智能體Q學(xué)習(xí)的MAC層信道接入的實現(xiàn)方法。

背景技術(shù)

自第二次工業(yè)革命發(fā)明了機動車輛之后，隨著汽車領(lǐng)域的快速發(fā)展，汽車已成為人們現(xiàn)代生活中不可或缺的一部分。隨著人們?nèi)粘Ｉ罟?jié)奏的加快，公共汽車、私家車等交通工具的使用日益普遍。汽車在為人們?nèi)粘３鲂袔肀憷耐瑫r也引發(fā)了許多問題，例如交通擁堵、環(huán)境污染、交通事故等。其中交通堵塞已成為嚴(yán)重的社會問題，為道路使用者帶來很多難題，每年由于交通堵塞造成大量燃料浪費和時間浪費。不僅使人們?nèi)粘３鲂袑⒋罅繒r間浪費在車路上，燃料浪費及尾氣排放等造成的霧霾嚴(yán)重危害著人類健康。交通事故也已成為人類生活的最大威脅之一。鑒于此，就需要未來車輛出行更安全、更綠色(例如尾氣排放更少)、完全自動化、讓乘客有更舒適的娛樂體驗等。因此為使交通基礎(chǔ)設(shè)施更加安全和高效，交通系統(tǒng)就必須足夠智能。ITS(Intelligent Transportation Systems,智能交通系統(tǒng))為改善道路交通安全、緩解交通擁堵、減少汽車油耗保護環(huán)境應(yīng)運而生，在學(xué)術(shù)界和工業(yè)領(lǐng)域都受到廣泛關(guān)注。ITS旨在利用信息和通信技術(shù)提高未來交通系統(tǒng)的質(zhì)量、效率和安全。未來將會部署更先進的ITS技術(shù)有效管理城市交通，提高高速公路及道路安全。另外，通過ITS技術(shù)接入寬帶網(wǎng)絡(luò)有望能徹底變革乘客和司機QoE(quality of experience,質(zhì)量體驗)的娛樂應(yīng)用。而VANET(vehicular ad-hoc network，車載自組織網(wǎng)絡(luò))能支持ITS應(yīng)用，作為ITS的重要組成部分旨在改善交通安全，提高交通效率，通過緩解交通擁堵減少油耗保護環(huán)境，為乘客提供安全舒適的體驗，因此大多新型應(yīng)用(例如行動資訊娛樂)應(yīng)運而生。VANETs應(yīng)用可被分為以下幾類：安全相關(guān)應(yīng)用、交通管理和交通效率應(yīng)用、用戶娛樂服務(wù)及網(wǎng)絡(luò)連通性應(yīng)用等。這些VANETs應(yīng)用對VANET網(wǎng)絡(luò)的需求各不相同。安全消息要保證快速訪問且傳輸時延要短，消息僅在短時間內(nèi)有效。娛樂服務(wù)數(shù)據(jù)量較大，對同步要求比較嚴(yán)格。由于預(yù)期的VANETs應(yīng)用各種各樣，因此VANETs網(wǎng)絡(luò)就需要支持各種需求。安全應(yīng)用應(yīng)能在相鄰車輛之間無線廣播警告消息以便快速通知司機危險情況。為確保效率，安全應(yīng)用周期性傳輸數(shù)據(jù)時延要越低越好，而MAC(Media Access Control,介質(zhì)訪問控制)協(xié)議在VANET提供有效數(shù)據(jù)傳輸中起至關(guān)重要的作用。MAC協(xié)議位于數(shù)據(jù)鏈路層，它不僅要確保信道訪問的公平性，還需提供多信道協(xié)作和差錯控制。因此就必須為VANET設(shè)計高效可靠的MAC協(xié)議。