[發明專利]基于Q學習的無線通信防竊聽干擾功率控制方法

有效

• 申請號: 201711475264.2
• 申請日: 2017-12-29
• 公開（公告）號: CN108235423B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 肖亮;毛毛雨;康顯桂;安寧
• 申請（專利權）人: 中山大學
• 主分類號: H04W52/24
• 分類號: H04W52/24;H04K3/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳衛

1.一種基于Q學習的無線通信防竊聽干擾功率控制方法，其特征在于，包括以下步驟：

S1.初始化發射功率P_s、安全評估系數ρ、干擾功率x_i和工作時間的等級t_s，具體包括：

S101.將發射功率P_s平均分割為n檔，記發射功率集為L，令L＝[P₁,P₂,…,P_n]；

S102.確定合法發送方與接收方協同做出的安全評估系數ρ，ρ∈[0,1]；

S103.將合法發送者發射功率P_s、安全評估系數ρ合并得到狀態集合，記為S，S＝[P_s，ρ]；

S104.將友好干擾機的干擾功率平均分割為n檔，記友好干擾機的干擾功率動作集為A，令A＝[x₁,x₂,…,x_n]；

S105.將邊緣服務器的工作時間t_s平均分割為k個部分，記作一個時隙

S2.計算第k個時隙工作狀態的相關量；所述的S2步驟包括：

S201.確定信道衰落系數為λ，λ∈[0,1]，測量合法發送者到接收者的距離d_sr、合法發送者到竊聽者的距離d_se、友好干擾機到竊聽者的距離為d_je；

計算竊聽者竊聽渠道所得信息：

S202.計算合法接收者所得信息：其中θ∈[0,1]為在加密技術幫助下，合法接收者對干擾的免疫程度；

S203.計算測量信息保密容量C(P_s^(k),x_i^(k))：

C(P_s^(k),x_i^(k))＝log(γ_r(P_s^(k),x_i^(k)))-log(γ_e(P_s^(k),x_i^(k)))

S204.計算保密信息量I(S^(k),x_i^(k))：

I(S^(k),x_i^(k))＝ρ^(k)C(P_s^(k),x_i^(k))

S205.計算測量系統能量損耗E_s(x_i^(k))：

E_s(x_i^(k))＝x_i^(k)E_i+x_i^(k)E_v+ηE_n

其中，E_i為測量友好干擾機單位能量損耗，E_v為邊緣服務器計算能量損耗，E_n為常規信息傳輸能量損耗，記η為常規系數，η∈[0,1]；

S206.根據上述測量得到的保密容量和能量損耗，計算無線通信防竊聽干擾功率控制算法的即時效益函數：

U(S^(k)，x_i^(k))＝I(S^(k)，x_i^(k))-E_s(x_i^(k))；

S3.友好干擾機使用Q學習算法學習，在每個時隙根據系統狀態S^(k)做出決策，選擇相應的動作x_i^(k)；所述的S3步驟具體包括：

S301.根據合法發送者的發射功率組成的狀態集和干擾機干擾功率動作集初始化Q矩陣；令矩陣V＝mn，m≥0,n≥0，并列出Q值表；預設Q學習的學習率和未來重視程度的衰減系數分別為α∈(0，1]、δ∈(0，1]，調節α、δ至合適的取值；

S302.測得第k個時隙合法發送者的發射功率P_s^(k)，安全評估系數ρ^(k)，得到狀態值S^(k)；查詢Q值表中S^(k)對應的最優干擾功率記最優調度概率為(1-ε)，ε∈(0,1]；通過策略選擇此時的調度動作，調節ε至合適取值；

S303.當k＝1，在初始時隙由于無法測量狀態S⁽¹⁾，隨機選擇一個干擾功率動作當k≥2，在k時隙測量狀態為S^(k)，友好干擾機干擾功率為此時邊緣服務器通過S206步驟的公式計算本次訓練獲得的即時效益U(S^(k),x_i^(k))；

S304.在時隙k結束時，依據步驟S101至S104測量第(k+1)個時隙發送者的發射功率P_s^(k+1)和安全評估系數ρ^(k+1)，從而確定下一時隙的狀態值S^(k+1)；

S305.更新友好干擾機在狀態S^(k)下采取動作的Q方程和通過最優動作得到的V方程；具體公式為：

S306.重復步驟S302至步驟S305，直至得到一個收斂的理想Q值表；

S4.邊緣服務器完成Q學習訓練后，友好干擾機根據Q值表中當前狀態S^(k)對應的方程調度動作發送友好干擾信號。