[發明專利]基于Q-learning的紫外光無人機編隊中鄰居發現方法

有效

• 申請號: 202110003067.0
• 申請日: 2021-01-04
• 公開（公告）號: CN112752250B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 趙太飛;劉昆;高宏博;容開新;張爽;李旭
• 申請（專利權）人: 深圳萬知達科技有限公司
• 主分類號: H04W8/00
• 分類號: H04W8/00;H04B10/114;H04B10/50
• 代理公司: 北京鼎德寶專利代理事務所(特殊普通合伙) 11823
• 代理人: 馬冠群

1.基于Q-learning的紫外光無人機編隊中鄰居發現方法，其特征在于，包括以下步驟：

步驟1，在每個無人機上安裝球形結構紫外光多發多收模型，多發多收模型上按照經緯線分布的方式在經緯線交接處安裝紫外光收發裝置，并進行編號，使其具有固定的編號的規律，節點間通信使用紫外光近直視通信；

步驟2，開始鄰居發現第一階段無人機節點以多發多收模型為基礎，以LED紫外燈的編號為順序從小到大依次向三維空間發送請求信息幀，請求信息幀包括節點ID，標識符，LED紫外燈的編號；

步驟3，當鄰居無人機節點收到來自發起節點無人機的請求信息幀后，進入鄰居發現第二階段，此階段由于紫外光的近直視傳播的特點，鄰居無人機節點可以根據請求信息幀判斷出發起節點無人機多發多收模型的LED紫外燈的編號，但是無法決定自身該使用多發多收模型的哪個編號的LED紫外燈向發起節點無人機發送應答信息幀；

鄰居節點無人機開始搜索自身的Q-learning算法中的Q表格中的策略，若Q表格中存在相應的策略，則根據策略選擇相對應的LED紫外發射裝置發送應答信息幀，若無搜索策略，轉到步驟4；

步驟4，若搜索策略為空，則鄰居無人機節點將按照請求信息幀的發送方式，以自身多發多收模型為基礎向三維空間依次發送應答信息幀，應答信息幀中包括有請求信息幀的節點ID號，請求信息幀發送的LED紫外燈的編號，以及接收節點的節點ID號，接收節點發送應答信息的LED紫外燈的編號；

步驟5，發起節點無人機收到應答信息幀后，進入鄰居發現第三階段，此時發起節點無人機根據收到的應答信息幀可以判斷出本節點與鄰居節點進行通信的最佳紫外LED發射編號，則發起節點無人機將根據應答信息幀中自身LED紫外燈的編號定向向鄰居節點無人機發送確認信息幀，鄰居發現過程結束。

2.根據權利要求1所述的基于Q-learning的紫外光無人機編隊中鄰居發現方法，其特征在于，所述步驟3中，Q-learning算法如下：

所述步驟3中，Q-learning算法中Q-table表格策略計算如下：

首先，初始化Q-table表格為0，表示此時的搜索策略為無，即Q-table表格即為搜索策略；

然后，判斷鄰居節點發送的應答信息幀是否可以到達發起節點，若可以到達，則更新Q-table表格中數據，更新變化為由0變1，若無法被發起節點接收到，則Q-table表格中數據不發生變化；

最后，通過一次一次的迭代優化更新Q-table表格，即不斷的更新搜索策略，即可得到自身所有LED紫外燈的編號對應的搜索策略。

3.根據權利要求1所述的基于Q-learning的紫外光無人機編隊中鄰居發現方法，其特征在于，所述的固定的編號的規律具體采用多發多收模型上按照經緯線分布的方式在經緯線交接處安裝紫外光收發裝置，以任一條經線為初始線對該經線上的節點進行編號，編號從1開始，經線上的編號順序為從頂至下，當第一條經線編號完成后，以順時針方向旋轉選擇第二條經線上的節點進行順序編號，直至全部經線上的節點均編號完成。