[發明專利]一種授權和免授權D2D通信資源聯合智能分配方法

有效

• 申請號: 202110581716.5
• 申請日: 2021-05-26
• 公開（公告）號: CN113316154B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 裴二榮;徐成義;陶凱;宋珈銳;黃一格
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W16/10
• 分類號: H04W16/10;H04W24/02;H04W24/06;H04W28/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種授權和免授權D2D通信資源聯合智能分配方法，屬于D2D通信領域。本發明包括以下步驟：S1：建立D2D用戶通信模型；S2：建立需要優化的目標函數；S3：建立多智能體深度強化學習D2D通信模型；S4：設置多智能體的動作集合，狀態集合和獎勵函數；S5：智能體根據自身的Actor網絡采取動作，獲得狀態和獎勵以及下一個狀態；S6：計算Critic網絡的TDerror，并更新Critic網絡參數，Critic網絡計算每個智能體的反事實基線，通過反事實基線更新Actor網絡參數，更新狀態；S7：重復步驟S5?S6，直到達到目標狀態。本發明根據多智能體深度強化學習框架，智能體不斷與環境交互，不斷訓練學習，找到最優策略，所采取的策略對應的動作獲得最優的吞吐量，同時保證WiFi和蜂窩用戶的通信質量。

技術領域

本發明屬于D2D通信領域，涉及一種授權和免授權D2D通信資源聯合智能分配方法。

背景技術

隨著智能終端的快速普及，預計到今年連接設備包括智能手機、平板、車聯網設備、物聯網設備等數量將達到500億，數據流量會增加1000倍，這使得無線通信技術演進的需求更加迫切。一方面，網絡容量、吞吐量等無線通信性能指標需要明顯提升以應對爆炸式增長的數據流量；另一方面，需要實現蜂窩通信應用的擴展，提升終端用戶體驗。

面對爆炸式增長的數據流量和授權頻譜己幾近分配完畢的情況，擴展新的頻譜來提高系統容量以適應移動流量激增和業務的多樣化成為當前首要目標。免授權頻段頻譜工作頻段主要有2.4GHz頻段、5GHz頻段和60GHz的毫米波頻段。頻段越高，自由空間損耗越大，因此為了能夠較好的抵抗路徑衰落只考慮6GHz 以下的頻段。在6GHz以下的頻段中，2.4GHz頻段已經被WiFi及藍牙等無線技術密集占用，干擾復雜，而5GHz頻段有將近500MHz的可用空間，只有一部分被WiFi占用，使用率低。因此只要將D2D技術與WiFi之間的干擾控制在可以接受的范圍內，就可以在5GHz頻段實現D2D技術。5GHz免授權頻段信道衰落大，適用于短距離通信，而D2D作為一種鄰近服務，將它放在免授權頻段非常符合自己的特性，而且相較于其他在免授權頻段工作的短距離通信技術(WiFi直連、藍牙、紫蜂協議等)而言，D2D通信具有很大的優勢，用戶的配對和信道、功率的資源分配受到基站管控，接入更加高效、安全。D2D通信部署在免授權頻段，不僅可以提升免授權頻譜的使用率，還可以與現有的蜂窩系統實現無縫融合。與LTE-U技術類似，D2D通信初始時也只在授權頻譜運營，與WiFi系統沒有任何的共存機制，如果直接接入免授權頻段，會嚴重影響WiFi系統的性能，因此在免授權頻段實現D2D通信同樣要保證D2D用戶與原有的WiFi用戶的和諧共存。

現有D2D通信主要部署在授權頻段，較少考慮將D2D在免授權頻段和授權頻段聯合部署，并同時考慮到保證WiFi用戶最低通信質量前提下D2D用戶進行授權和免授權的選擇，又由于解決D2D通信資源分配問題，是一個NP-hard難題，傳統算法難以解決。因此利用目前非常熱門的機器學習方法解決傳統算法中難以解決的問題，具有非常重要的研究意義。

發明內容

有鑒于此，本發明提供了一種授權和免授權D2D通信資源聯合智能分配方法，解決了傳統算法難以解決的聯合授權和免授權頻譜選擇的D2D通信資源分配問題。

為了達到上述目的，本發明提供如下技術方案：

一種授權和免授權D2D通信資源聯合智能分配方法，包括以下步驟：

S1：建立D2D用戶通信模型；

S2：建立需要優化的目標函數；

S3：建立多智能體深度強化學習的D2D通信模型；

S4：設置多智能體的動作集合，狀態集合和獎勵函數；

S5：智能體根據自身的Actor網絡采取動作，獲得狀態和獎勵以及下一個狀態；