[發明專利]基于Q學習的深度神經網絡自適應退避策略實現方法及系統

有效

• 申請號: 202010640594.8
• 申請日: 2020-07-06
• 公開（公告）號: CN111867139B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 毛中杰;俞暉;王政;許麗麗;武新波;夏天
• 申請（專利權）人: 上海交通大學;北京東方計量測試研究所
• 主分類號: H04W74/08
• 分類號: H04W74/08;G06N3/08;H04W84/18
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于Q學習的深度神經網絡自適應退避策略實現方法及系統，包括：步驟1：對無人機網絡中的網絡節點和網絡拓撲結構進行初始化，確定樹形網絡的簇頭節點，對退避策略參數初始化后，廣播至全網節點；步驟2：全網節點根據初始化后的退避策略參數來更新本地的退避策略；步驟3：簇頭節點根據收到的更新信息進行統計，得出網絡公平性指標并形成向量，保存進經驗池中；步驟4：簇頭節點從經驗池中提取向量，輸入到深度神經網絡進行訓練，得到真實Q值，將真實Q值與預測Q值進行對比；步驟5：返回步驟2繼續執行，當學習策略趨于穩定符合預設條件時，輸出退避策略。本發明提高了無人機節點在動態變化網絡場景中的通信性能。

技術領域

本發明涉及無人機自組織網絡技術領域，具體地，涉及一種基于Q學習的深度神經網絡自適應退避策略實現方法及系統。

背景技術

近年來，無人機(unmanned aerial vehicle,UAV)憑借其多用途，高擴展，和高效率等諸多優勢，受到了世界各國的不斷重視，無人機自組網已成為新的研究熱點。無人機自組網是自組網中的一種特別形式，除了一般自組網的多跳，無中心等特點，還具備一些獨有的特點，如高速移動、低密度分布、節點能量強、獨特的網絡目標等。高速移動的特性將造成網絡拓撲頻繁變化，進而對網絡結構穩定性和協議性能帶來沖擊；低密度分布使節點之間存在不確定性，無人機一般用于執行特殊任務，運動規律性不強，導致節點的入網及退網更加頻繁；節點能量強的原因是無人機上的通信設備由飛機提供空間和能量，這使得無人機自組網時不需額外考慮節點計算能力和能量耗費問題；獨特的網絡目標表現為無人機網絡的連接目標是對等的，此外網絡中還需要部分擔任數據收集的簇頭節點，因此需要支持流量匯聚；網內可能存在多種傳感器，傳輸的業務包括圖像，音頻視頻等，具有時延敏感性高，數據業務量大，數據類型多元化等特點，需要保證相應的通信質量。

由于無人機自組織網絡拓撲和業務變化的多變性，網絡常常使用基于競爭的MAC層協議進行通信，在基于競爭的MAC層協議中，退避策略是影響協議性能的重要因素。隨著近年來無線傳感器網絡的逐漸發展，網絡節點和業務類型不斷增加，傳統的退避算法如二進制指數型退避算法(BEB)等在變化的網絡環境下表現不佳，針對這一問題，出現許多利用增強學習優化MAC協議的退避算法。

Pressas,Andreas,Sheng,Zhengguo,Ali,Falah,Tian,Daxin and Nekovee,Maziar(2018)Contention-based learning MAC protocol for broadcast Vehicle-to-Vehicle Communication.IEEE Vehicular Networking Conference(VNC),Italy,27-29November 2017，此文針對車載互聯網通信設計了一種基于Q-Learning和802.11p的MAC協議，其智能調整的對象是CW，即回退窗口。其觀測的狀態值S是CW大小，動作是CW的乘2、除2或不變，使用Q-Learning方法，對回退窗口進行了調整，缺點是由于其觀測的狀態是CW值大小，而沒有觀測環境信息，導致智能體沒有直接與環境互動，不能依據環境情況的變化進行動作的選取，同時動作的可選數目過少，使得仿真性能受到限制。

S.Lohier,Y.GhamriDoudane,G.Pujolle.MAC-layer Adaptation to ImproveTCP Flow Performance in 802.11 Wireless Networks[J].2011，此文通過調整mac層中的重傳上限次數，來降低由于不當觸發TCP擁塞控制機制導致的性能下降，規定，當數據率超過12Mbps時，RetryLimit＝6(節點靠近AP)，當數據率小于12Mbps大于6Mbps時，RetryLimit＝12，當數據率小于6Mbps時，RetryLimit＝18。此文的缺點是使用手動設置門限對重傳次數進行調整，不具有普適性。