[發(fā)明專利]一種定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202110084025.4
• 申請日: 2021-01-21
• 公開（公告）號: CN112929931B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設計）人: 楊凱;高建銀;眭暢豪;周榮花
• 申請（專利權）人: 北京理工大學
• 主分類號: H04W36/00
• 分類號: H04W36/00;H04W48/16;H04W84/18
• 代理公司: 北京正陽理工知識產(chǎn)權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發(fā)明涉及一種定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法，屬于定向自組織網(wǎng)絡技術領域。本方法使用UCB策略選擇動作，使節(jié)點進行適當?shù)奶剿鳎粫萑氪蝺?yōu)策略或者出現(xiàn)鄰居發(fā)現(xiàn)過程不收斂的情況。節(jié)點獲得的回報與節(jié)點是否觀察到碰撞有關，即考慮當前時隙鄰居發(fā)現(xiàn)結果對之后時隙鄰居發(fā)現(xiàn)的影響，加快鄰居發(fā)現(xiàn)過程，減少鄰居發(fā)現(xiàn)延遲。通過利用迭代估計值函數(shù)，無需知道定向自組織網(wǎng)絡的環(huán)境模型，同時，在網(wǎng)絡中節(jié)點獨立使用Q?Learning學習算法實現(xiàn)自適應鄰居發(fā)現(xiàn)，節(jié)點間互不干擾，獨立決策，簡化了鄰居發(fā)現(xiàn)問題。

技術領域

本發(fā)明涉及一種定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法，用于定向自組織網(wǎng)絡中節(jié)點自適應發(fā)現(xiàn)鄰居節(jié)點的過程，屬于定向自組織網(wǎng)絡技術領域。

背景技術

在定向自組織網(wǎng)絡中，由于定向天線的能量集中在一個方向，對其他方向的干擾較少，使用定向天線，能夠提高空間復用率，但同時增加了鄰居發(fā)現(xiàn)的難度。配備定向天線的兩個鄰居節(jié)點發(fā)現(xiàn)彼此，需要滿足兩個條件：一是定向天線波束要互相對準，二是其中一個節(jié)點處于發(fā)送模式，另一個節(jié)點處于接收模式。由于定向天線的波束寬度較窄，想要滿足這兩個條件較為困難。

現(xiàn)有的關于定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法包括完全隨機的鄰居發(fā)現(xiàn)方法和基于掃描的鄰居發(fā)現(xiàn)方法等。

其中，完全隨機的鄰居發(fā)現(xiàn)方法是在鄰居發(fā)現(xiàn)過程中，節(jié)點隨機選擇收發(fā)模式以及波束方向。

基于掃描的鄰居發(fā)現(xiàn)方法分為隨機掃描方法以及確定掃描方法。在隨機掃描方法中，節(jié)點隨機選擇收發(fā)模式，根據(jù)確定的波束掃描順序進行鄰居發(fā)現(xiàn)。確定掃描方法是在執(zhí)行鄰居發(fā)現(xiàn)過程之前就確定了節(jié)點的發(fā)送/接收模式以及波束掃描順序。

上述方法主要存在以下問題：

鄰居發(fā)現(xiàn)延遲較高，且未考慮之前鄰居發(fā)現(xiàn)結果對當前時刻鄰居發(fā)現(xiàn)的影響。若節(jié)點之前在某個波束內(nèi)觀察到碰撞，則意味著該波束內(nèi)有多個鄰居節(jié)點，當前時刻應該增加選擇該波束的概率；當節(jié)點在某個波束內(nèi)成功發(fā)現(xiàn)鄰居節(jié)點或時隙空閑，則應該增加探索其他波束方向的概率，加快鄰居發(fā)現(xiàn)過程。

發(fā)明內(nèi)容

本發(fā)明的目的是為了克服現(xiàn)有技術的不足，創(chuàng)造性地提出一種新的定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法。節(jié)點根據(jù)之前鄰居發(fā)現(xiàn)的結果，使用Q-Learning學習算法自適應的發(fā)現(xiàn)鄰居，從而加快鄰居發(fā)現(xiàn)過程、減少鄰居發(fā)現(xiàn)延遲。

本發(fā)明的創(chuàng)新點在于：由于定向自組織網(wǎng)絡是分布式網(wǎng)絡,網(wǎng)絡中節(jié)點相互獨立，因此，網(wǎng)絡中節(jié)點各自使用Q-Learning學習算法實現(xiàn)自適應鄰居發(fā)現(xiàn)，目標是找到最優(yōu)策略，實現(xiàn)較低的鄰居發(fā)現(xiàn)延遲。使用值函數(shù)對策略進行評估，找到最優(yōu)策略等同于找到最優(yōu)值函數(shù)，由于定向自組織網(wǎng)絡環(huán)境復雜，很難建模，因此使用Q-Learning學習算法迭代估計值函數(shù)，最終收斂至最優(yōu)值函數(shù)，從而得到最優(yōu)策略，不需要回報和狀態(tài)轉(zhuǎn)移概率等關于環(huán)境的先驗知識。

本發(fā)明目的是通過下述技術方案實現(xiàn)的。

一種定向自組織網(wǎng)絡的鄰居發(fā)現(xiàn)方法，包括以下步驟：

步驟1：定義相關集合。

定義網(wǎng)絡中每一個節(jié)點的狀態(tài)集合S：

S＝{T,R} (1)

其中，所述的節(jié)點狀態(tài)為節(jié)點的工作模式，由于網(wǎng)絡中節(jié)點使用半雙工方式通信，因此，在某一時刻，節(jié)點只能處于發(fā)送模式或者接收模式中的一種，T表示發(fā)送模式，R表示接收模式。

定義網(wǎng)絡中每一個節(jié)點的動作集合A：

A＝{1,2,3,…,k} (2)

其中，所述動作為節(jié)點在時隙t需要執(zhí)行的動作，為節(jié)點配置的波束切換定向天線的波束方向。波束切換定向天線包括k個預定義的波束方向，因此節(jié)點在時隙t能夠選擇的動作數(shù)為k。