[發明專利]一種基于Q學習算法的無人機基站部署及用戶關聯方法

有效

• 申請號: 202110572664.5
• 申請日: 2021-05-25
• 公開（公告）號: CN113286314B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 柴蓉;高藝帆;趙蘭馨;陳前斌
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W16/22
• 分類號: H04W16/22;H04W24/02;G06F30/18;G06F30/27;G06N20/00;G06F111/10
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

1.一種基于Q學習算法的無人機基站部署及用戶關聯方法，其特征在于，該方法包括以下步驟：

S1：建模用戶關聯標識；

S2：建模用戶及基站位置；

S3：建模用戶移動模型；

S4：建模用戶傳輸速率；

S5：建模系統回報函數；

S6：建模用戶關聯及傳輸速率限制條件；

S7：建模滿足限制條件的系統長期回報函數優化問題；

S8：基于Q學習算法確定優化策略；

步驟S1中，建模用戶關聯標識，具體包括：令Q＝{UE₁，...，UE_m，...，UE_M}表示用戶集合，其中UE_m表示第m個用戶，1≤m≤M，M為用戶數目；令Γ＝{BS₁，…，BS_n，…，BS_N}表示蜂窩基站集合，其中BS_n表示第n個蜂窩基站，1≤n≤N，N為蜂窩基站數目；令β_mn∈{0，1}表示用戶關聯蜂窩基站標識，β_mn＝1表示用戶UE_m關聯蜂窩基站BS_n進行數據傳輸，否則β_mn＝0；令表示用戶關聯無人機基站標識，表示用戶UE_m關聯無人機基站進行數據傳輸，否則

步驟S2中，建模用戶及基站位置，具體包括：將系統空間進行三維離散化處理，令x_max、y_max、h_max分別為三維網格中行、列、高的最大點數，用戶與蜂窩基站的高度均為0，故用二維網格點描述，令(x_m，y_m)表示用戶UE_m的二維空間位置，0≤x_m≤x_max，0≤y_m≤y_max；令表示蜂窩基站BS_n的位置，建模無人機基站位置為(x^u，y^u，h^u)，0≤x^u≤x_max，0≤y^u≤y_max，h_min≤h^u≤h_max，h_min為無人機允許的最低高度；

步驟S3中，建模用戶移動模型為隨機移動模型，令v_m，t表示時隙t用戶UE_m的移動速率，θ_m，t表示時隙t用戶UE_m的移動方向，v_m與θ_m均為均勻分布隨機變量，v_m取值范圍為[0，v_max]，θ_m取值范圍為[0，2π]；

步驟S4中，建模用戶傳輸速率，具體包括：

1)建模時隙t用戶UE_m與蜂窩基站BS_n之間鏈路的傳輸速率為R_m，n，t＝B log₂(1+SINR_m，n，t)，其中B為蜂窩基站BS_n分配給用戶UE_m的信道帶寬，SINR_m，n，t表示t時刻用戶UE_m與蜂窩基站BS_n之間鏈路的信干噪比，定義為其中P_m表示用戶UE_m的發送功率，σ²表示噪聲功率，h_m，n，t表示時隙t用戶UE_m與基站BS_n之間的信道增益，定義為h_m，n，t＝c(d_m，n，t)^-2，c為常數，I_m，n，t表示基站間的同頻干擾，建模為

2)建模時隙t用戶UE_m與無人機基站之間的傳輸速率為其中表示t時刻用戶UE_m與無人機基站之間鏈路的信干噪比，表示t時刻用戶UE_m與無人機基站之間的信道增益，定義為c為常數，為無人機基站處的干擾，建模為

步驟S5中，建模系統回報函數，具體包括：建模t時刻系統回報函數為t時刻用戶總傳輸速率R_t，即建模系統長期的平均回報函數

步驟S6中，建模用戶關聯及傳輸速率限制條件，具體包括：用戶關聯標識需滿足用戶傳輸速率限制條件為其中為滿足用戶UE_m需求的門限值，R_m，t建模為

步驟S7中，建模滿足限制條件的系統長期回報函數優化問題，具體包括：在滿足用戶關聯標識及傳輸速率限制條件下，以系統長期平均回報函數R最大化為目標，確定無人機基站的最優位置及用戶關聯策略，即

步驟S8中，確定優化策略，具體包括：基于Q學習算法求解滿足限制條件的系統長期平均回報函數最大化問題，建模系統動態變化為馬爾可夫決策過程模型；定義狀態空間S＝{(x_m，t，y_m，t，0)}為時隙t各用戶的位置，定義動作空間為A＝{(z₁，z₂，…，z_M)，(x^u，y^u，h^u)}，其中，若β_mn＝1，z_m＝n；若z_m＝N+1，1≤m≤M；定義Q函數為Q(s_t，a_t)＝α[R_t+1+γmax Q(s_t+1，a)-Q(s_t，a_t)]，其中s_t為t時刻系統狀態，a_t為t時刻采取的動作，a為系統采取的動作，α∈(0，1)為學習速率，γ∈(0，1)為折扣因子，各時刻對Q函數迭代更新，確定對應長期平均回報函數優化的無人機基站部署及用戶關聯策略，即