[發明專利]基于DDPG的無線定位網絡的資源優化方法

在審

• 申請號: 202110865555.2
• 申請日: 2021-07-29
• 公開（公告）號: CN113597008A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 楊盼;向晨路;張舜卿;徐樹公
• 申請（專利權）人: 上海大學
• 主分類號: H04W72/04
• 分類號: H04W72/04;H04W4/02;H04W4/021;H04W4/33;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于DDPG的無線定位網絡的資源優化方法，其特征在于，在離線階段采用位置推理獲得的節點之間的距離以及信道參數作為DDPG網絡的狀態空間，采用各個節點分配到的帶寬和功率作為DDPG網絡的動作空間，經收益設置和網絡訓練后，在在線階段根據代理節點的當前狀態信息通過DDPG網絡得到最優的帶寬和功率分配方案，實現資源分配；

所述的DDPG網絡包括：在線動作(Actor)網絡、目標Actor網絡、在線評價(Critic)網絡、目標Critic網絡，其中：在線Actor網絡和目標Actor網絡均包括：七個隱藏層，除最后一層隱藏層直接是線性輸出，其余每一層隱藏層均采用ReLU作為激活函數，從第二個隱藏層開始，后續六個隱藏層分為結構相同的上下兩部分：上半部分被訓練用于帶寬的分配，下半部分被訓練用于功率的分配；在線Critic網絡和目標Critic網絡均包括五個隱藏層，除最后一層隱藏層直接是線性輸出，其余每一層隱藏層均采用ReLU作為激活函數。

2.根據權利要求1所述的基于DDPG的無線定位網絡的資源優化方法，其特征是，所述的節點之間的距離，通過以下方式得到：無線定位網絡中各個節點根據帶寬和功率的分配方案測量自身和其他節點之間的距離，再利用TOA定位方法來確定代理節點的具體位置，基于初始的分配方案是均勻分配，每個節點分配到的資源相同，各個節點的帶寬功率其中：i∈{1，2，…，N_a+N_b}，該無線定位網絡中包括N_a個代理節點和N_b個錨節點，網絡可以使用的總帶寬和總功率分別為B_total，P_total。

3.根據權利要求1所述的基于DDPG的無線定位網絡的資源優化方法，其特征是，所述的DDPG網絡的狀態空間，采用節點之間的距離與信道參數作為DDPG網絡的狀態空間，其中：節點之間的距離信息通過測距操作獲得，信道參數通過信道估計獲得，具體包括：基于平均分配帶寬和功率的方案進行測距獲得節點之間的距離信息，按照代理節點與某一錨節點之間的遠近對代理節點進行排序，再將這些代理節點和錨節點之間的距離和信道參數作為狀態空間，以極大的減小網絡訓練的開銷。

4.根據權利要求1所述的基于DDPG的無線定位網絡的資源優化方法，其特征是，所述的在線Actor網絡以規定狀態s_t作為輸入，輸出動作a_t，并獲取此刻的收益r_t，同時轉變為下一個狀態s_t+1，再將(s_t，a_t，r_t，s_t+1)作為一組訓練數據存放到經驗池中；

從經驗池中隨機采樣N組(s_k，a_k，r_k，s_k+1)訓練數據用于訓練DDPG中的四個網絡，其中1≤k≤N，則目標Actor網絡由狀態s_k+1輸出動作a_k+1、目標Critic網絡根據狀態s_k+1、目標Actor網絡輸出的a_k+1得到對應的評估函數Q′(s_k+1，a_k+1|θ^Q′)、在線Critic網絡根據狀態和動作(s_k，a_k)輸出對應的評價函數Q(s_k，a_k|θ^Q)，其中在線Actor網絡和在線Critic網絡的網絡參數分別是根據抽樣策略梯度和損失函數梯度進行更新的：目標網絡參數θ^Q′和θ^μ′是通過軟更新的方式分別根據在線網絡的網絡參數θ^Q和θ^μ來更新的：θ^Q′←τθ^Q+(1-τ)θ^Q′，θ^μ′←τθ^μ+(1-τ)θ^μ。