[發明專利]基于Q學習的深度神經網絡自適應退避策略實現方法及系統

有效

• 申請號: 202010640594.8
• 申請日: 2020-07-06
• 公開（公告）號: CN111867139B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 毛中杰;俞暉;王政;許麗麗;武新波;夏天
• 申請（專利權）人: 上海交通大學;北京東方計量測試研究所
• 主分類號: H04W74/08
• 分類號: H04W74/08;G06N3/08;H04W84/18
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，包括：

步驟1：對無人機網絡中的網絡節點和網絡拓撲結構進行初始化，根據節點的位置信息確定樹形網絡的簇頭節點，簇頭節點采用MAC協議并在對退避策略參數初始化后，廣播至全網節點；

步驟2：全網節點根據簇頭節點廣播的初始化后的退避策略參數來更新本地的退避策略，并將更新信息發送至簇頭節點；

步驟3：簇頭節點根據收到的更新信息進行統計，得出網絡公平性指標并形成向量，保存進經驗池中，若經驗池滿，則覆蓋其中誤差低于預設值的向量；簇頭節點使用基于Q學習的深度神經網絡的學習策略輸出新的退避策略參數，并廣播至全網節點；

步驟4：簇頭節點從經驗池中提取向量，輸入到深度神經網絡進行訓練，得到真實Q值，將真實Q值與預測Q值進行對比，使用反向傳播算法，更新深度神經網絡中的參數，直至迭代終止；

步驟5：返回步驟2繼續執行，當學習策略趨于穩定符合預設條件時，輸出退避策略。

2.根據權利要求1所述的基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，所述步驟2包括：

全網節點按照初始化后的退避策略進行通信，各節點分別記錄在單位時間內的更新信息，包括傳輸成功率、平均時延、吞吐量和網絡負載；

傳輸成功率和平均時延通過從接收節點返回的ACK消息確定；

吞吐量和網絡負載通過單位時間內到達的業務量和發送的業務量確定。

3.根據權利要求1所述的基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，在無人機自組織網絡中，節點采用CSMA/CA協議，以隨機的方式接入信道；節點在監聽到信道空閑后，退避一段時間，在這段時間內，節點將持續監聽信道，當整段時間內信道均為空閑時，節點接入信道并發送數據包；當節點發送數據包失敗時，將根據退避策略調整退避窗口的大小，進行退避重傳，重傳次數到達上限時，丟棄數據包。

4.根據權利要求3所述的基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，當站點通信沖突時，退避窗口CW按m倍增長；當站點通信完成時，退避窗口CW按n倍減少，來控制退避窗口變化的速度，公式為：

其中，CW_t表示退避重傳t次后退避窗口的大小；常數m,n由學習策略確定。

5.根據權利要求2所述的基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，根據網絡公平性指標計算各節點之間的吞吐量差異，用吞吐量Throughput_now、吞吐量標準差σ_th和變異系數C_v反映各節點吞吐量的波動性，通過變異系數的變化C_fairness確定不同節點間的公平性差異，表達式為：

其中，Throughput_now表示當前單位時間內的吞吐量，σ_th表示吞吐量標準差，表示前一個單位時間內的變異系數，表示當前時間內的變異系數。

6.根據權利要求5所述的基于Q學習的深度神經網絡自適應退避策略實現方法，其特征在于，采用深度神經網絡模型進行訓練，深度神經網絡內部的神經網絡層分為三類：輸入層、隱藏層、輸出層；

所述深度神經網絡模型滿足線性關系：z＝∑ω_ix_i+b

z表示局部神經元中的線性關系輸出；ω_i表示局部神經元中第i個輸入變量的權重系數；x_i表示局部神經元中的第i個輸入變量；

初始化a¹＝x，forl＝2toL；

訓練的計算公式為：a^l＝σ(z^l)＝σ(W^la^l-1+b^l)

L為神經網絡層的總層數，W為所有隱藏層和輸出層對應的矩陣，b為偏移變量，x為輸入值向量，a^L為輸出層的輸出，σ(z)為激活函數；a^L為第L層的輸出值。