[發(fā)明專利]基于Q學(xué)習(xí)的節(jié)點(diǎn)數(shù)量可變水聲網(wǎng)絡(luò)介質(zhì)訪問控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110791390.9
• 申請(qǐng)日: 2021-07-13
• 公開（公告）號(hào): CN113691391B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 陳友淦;黃偉迪;張文翔;萬磊;陳柯宇;張小康;許肖梅
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué);廈門大學(xué)深圳研究院
• 主分類號(hào): H04L41/142
• 分類號(hào): H04L41/142;H04L5/00;H04L1/16;H04L67/12;H04B13/02;H04B11/00;G06F17/16
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

基于Q學(xué)習(xí)的節(jié)點(diǎn)數(shù)量可變水聲網(wǎng)絡(luò)介質(zhì)訪問控制方法，涉及水聲網(wǎng)絡(luò)。將匯聚節(jié)點(diǎn)搜集水聲傳感器節(jié)點(diǎn)所感知數(shù)據(jù)的傳輸過程分為若干個(gè)時(shí)隙，運(yùn)用Q學(xué)習(xí)算法，結(jié)合匯聚節(jié)點(diǎn)的反饋信號(hào)、傳感器節(jié)點(diǎn)數(shù)量變化情況，通過合理設(shè)置獎(jiǎng)勵(lì)機(jī)制，針對(duì)Q矩陣的一整行(即子矩陣)進(jìn)行整體的獎(jiǎng)勵(lì)子矩陣設(shè)計(jì)，而非逐個(gè)元素更新Q矩陣，將時(shí)隙合理分配給各傳感器節(jié)點(diǎn)，使數(shù)據(jù)在傳輸過程中不會(huì)受到其它傳感器節(jié)點(diǎn)的影響，避免匯聚節(jié)點(diǎn)數(shù)據(jù)搜集沖突。本發(fā)明所提方法具有學(xué)習(xí)速度快、吞吐量高、能耗節(jié)約、抗干擾能力強(qiáng)的特點(diǎn)，可解決節(jié)點(diǎn)死亡或者位置漂移導(dǎo)致的節(jié)點(diǎn)減少時(shí)的時(shí)隙冗余問題或節(jié)點(diǎn)增加時(shí)的時(shí)隙不足問題，確保水聲數(shù)據(jù)傳輸?shù)某晒β屎退暰W(wǎng)絡(luò)高吞吐量。

技術(shù)領(lǐng)域

本發(fā)明涉及水聲網(wǎng)絡(luò)，尤其是涉及一種基于Q學(xué)習(xí)的節(jié)點(diǎn)數(shù)量可變水聲網(wǎng)絡(luò)介質(zhì)訪問控制方法。

背景技術(shù)

近年來，無論是在軍事方面還是在民用方面，占據(jù)地球表面積71％的海洋日益成為世界關(guān)注的焦點(diǎn)。作為海洋物聯(lián)網(wǎng)的重要組成部分，水聲網(wǎng)絡(luò)也逐漸成為重要的研究熱點(diǎn)之一。

水聲網(wǎng)絡(luò)由大量電池供電的水聲傳感器節(jié)點(diǎn)構(gòu)成，然而在海洋環(huán)境下，節(jié)點(diǎn)的電池更換難度大、成本高，且水聲信道傳播時(shí)延長(zhǎng)、信道容量小、可靠性低。這要求水聲網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸必須采用高效節(jié)能的協(xié)議。水聲網(wǎng)絡(luò)介質(zhì)訪問控制協(xié)議是，多個(gè)用戶/節(jié)點(diǎn)共享同一水聲信道介質(zhì)，分配介質(zhì)使用權(quán)的協(xié)議，是水聲網(wǎng)絡(luò)進(jìn)行正常工作的重要協(xié)議。

針對(duì)水聲網(wǎng)絡(luò)數(shù)據(jù)傳輸能耗高、海洋信道條件不穩(wěn)定的問題，Ahmed等(Ahmed F,et al.,A Time-Slotted Data Gathering Medium Access Control Protocol Using Q-Learning for Underwater Acoustic Sensor Networks[J].IEEE Access,2021,9(1):48742-48752.)從能耗和復(fù)雜度等角度出發(fā)，將Q學(xué)習(xí)算法用于水聲網(wǎng)絡(luò)介質(zhì)訪問控制協(xié)議，允許節(jié)點(diǎn)智能選擇退避槽，并相應(yīng)調(diào)度數(shù)據(jù)包傳輸，以避免數(shù)據(jù)傳輸沖突。但該協(xié)議存在收斂速度慢、抗干擾能力弱、節(jié)點(diǎn)數(shù)量無法大動(dòng)態(tài)變化等問題，且在節(jié)點(diǎn)數(shù)目較多的水聲網(wǎng)絡(luò)，其性能也會(huì)有所下降。當(dāng)前，水聲網(wǎng)絡(luò)和人工智能的結(jié)合大部分集中在路由優(yōu)化設(shè)計(jì)方面，僅有個(gè)別研究關(guān)注其在介質(zhì)訪問控制協(xié)議方面的研究。目前，Q學(xué)習(xí)與水聲網(wǎng)絡(luò)介質(zhì)訪問控制協(xié)議結(jié)合的研究中，尚未見海洋信道環(huán)境動(dòng)態(tài)變化導(dǎo)致可接入節(jié)點(diǎn)數(shù)量變化時(shí)，如何優(yōu)化Q學(xué)習(xí)設(shè)計(jì)，以確保水聲網(wǎng)絡(luò)維持高吞吐量、快學(xué)習(xí)速度和強(qiáng)魯棒性的方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)水聲網(wǎng)絡(luò)能耗有限、吞吐量低和海洋信道環(huán)境大動(dòng)態(tài)變化等問題，利用Q學(xué)習(xí)算法，通過優(yōu)化設(shè)計(jì)獎(jiǎng)勵(lì)機(jī)制，提供一種擁有高學(xué)習(xí)速度和節(jié)能的介質(zhì)訪問控制方法，在水聲網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)量變化的情況下，仍可實(shí)現(xiàn)復(fù)雜度低、吞吐量高、抗干擾能力強(qiáng)的新型介質(zhì)訪問控制協(xié)議，優(yōu)化水聲信道介質(zhì)資源使用權(quán)分配方案，提升網(wǎng)絡(luò)性能的基于Q學(xué)習(xí)的節(jié)點(diǎn)數(shù)量可變水聲網(wǎng)絡(luò)介質(zhì)訪問控制方法。

本發(fā)明包括以下步驟：

1)參數(shù)初始化：

考慮一個(gè)水聲網(wǎng)絡(luò)，包含M個(gè)傳感器節(jié)點(diǎn)(以下簡(jiǎn)稱“節(jié)點(diǎn)”)和1個(gè)信宿(以下簡(jiǎn)稱“信宿”)，節(jié)點(diǎn)從海洋環(huán)境中感知信息，信宿負(fù)責(zé)搜集節(jié)點(diǎn)感知的聲學(xué)數(shù)據(jù)。