[發明專利]一種定向自組織網絡的鄰居發現方法

有效

• 申請號: 202110084025.4
• 申請日: 2021-01-21
• 公開（公告）號: CN112929931B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 楊凱;高建銀;眭暢豪;周榮花
• 申請（專利權）人: 北京理工大學
• 主分類號: H04W36/00
• 分類號: H04W36/00;H04W48/16;H04W84/18
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

1.一種定向自組織網絡的鄰居發現方法，其特征在于，包括以下步驟：

步驟1：定義相關集合；

定義網絡中每一個節點的狀態集合S：

S＝{T,R} (1)

其中，所述的節點狀態為節點的工作模式，在某一時刻，節點只能處于發送模式或者接收模式中的一種，T表示發送模式，R表示接收模式；

定義網絡中每一個節點的動作集合A：

A＝{1,2,3,…,k} (2)

其中，所述動作為節點在時隙t需要執行的動作，為節點配置的波束切換定向天線的波束方向；波束切換定向天線包括k個預定義的波束方向，節點在時隙t能夠選擇的動作數為k；

步驟2：每個節點初始化各自的值函數表，初始值為0，值函數表的大小為2×k；

步驟3：每個節點選擇各自的初始狀態；各節點選擇發送模式或接收模式的概率相同，均為p；

步驟4：每個節點基于UCB策略，從動作集合中選擇在當前時隙需要執行的動作，其中，動作集合為步驟1所述的定向天線預定義的k個波束方向；

所述UCB策略為Q-Learning學習算法的行為策略，指導節點在時隙t的動作選擇，在進行動作選擇時，需要探索新的“狀態-動作”對；使用UCB策略對非貪婪動作成為最優動作的可能性進行度量，選擇最有可能成為最優動作的行為；

UCB策略指導動作選擇公式如下：

其中，s_t表示在時隙t節點所處的狀態，a表示節點處于狀態s_t時能夠選擇的動作集，a_t表示從動作集a中選擇的動作，c表示控制探索非貪婪動作的度；Q(s_t,a)表示動作集中每一個動作的價值所組成的集合，N_t(s_t,a)表示到時隙t為止動作集中每一個動作被選擇的次數組成的集合；

步驟5：每個節點執行步驟4選擇的動作，將定向天線波束切換到選擇的方向；

步驟6：判斷每個節點與環境交互時是否發生碰撞，若節點接收到2個以上的數據包，則認為發生了碰撞，給與獎勵m₁，提高節點在之后的時隙切換到該波束的概率；若節點成功發現1個鄰居或時隙空閑，應該給與懲罰m₂，鼓勵節點探索其他波束方向；節點得到的回報r(s_t,α_t)由公式(4)給出：

步驟7：每一個節點隨機選擇下一個時隙狀態s_t+1；

步驟8：根據步驟6得到的回報r(s_t,α_t)，以及步驟7選擇的下一個時隙狀態s_t+1，更新值函數表：

其中，Q(s_t,a_t)表示狀態為s_t動作為a_t時的價值，α表示學習率，γ表示衰減因子，a′表示節點處于狀態s_t+1時能夠選擇的動作集，r(s_t,α_t)表示節點與環境交互獲得的回報，Q(s_t+1,a′)表示動作集中每一個動作的價值所組成的集合；

步驟9：判斷節點是否發現所有鄰居；如果定向自組織網絡中所有節點都成功發現各自的全部鄰居，則執行步驟10；否則，執行步驟11；

步驟10：記錄鄰居發現所需的時隙數，鄰居發現過程結束；

步驟11：判斷是否超出預定義的最大時隙數t_slot；若超出，則鄰居發現過程結束；若未超出，則節點進入下一個時隙，將步驟7得到的s_t+1賦值給s_t，轉到步驟4。