[發明專利]基于增強學習算法的主用戶仿真攻擊檢測方法

有效

• 申請號: 201710596776.8
• 申請日: 2017-07-20
• 公開（公告）號: CN107332855B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 陳惠芳;謝磊;馬向榮
• 申請（專利權）人: 浙江大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04W12/00;H04W16/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 葉志堅

1.基于增強學習算法的主用戶仿真攻擊檢測方法，其特征在于該方法以增強學習算法在線學習不同信道環境下的判決檢測門限值，即采用信道多徑時延差作為狀態參數，以判決門限作為動作策略，并將長時檢測收益作為系統的回報函數，根據管理機構在每個周期的反饋獎罰值，通過增強學習算法實時調整判決門限；該方法的具體步驟是：

步驟1.認知無線電網絡的PU以概率p使用授權頻譜資源；當PU不工作時，MU以概率q模仿PU信號特征并對SU發起攻擊，其中q≤1-p；當感知為無空閑頻譜時，SU為防止頻譜被MU惡意占用進行主用戶仿真攻擊檢測，首先構建二元假設檢驗為：

所述的PU為主用戶、SU為從用戶、MU為惡意用戶，H₀、H₁分別表示SU判斷接收信號來自于PU和MU；

然后通過信道估計得到第k個時隙的信道多徑時延差根據以下準則做出判決：

其中τ_PU為接收信號來自于PU時的信道多徑時延差，λ_k為判決門限值；當判斷接收信號來自于PU時，SU選擇放棄接入頻譜并繼續進行頻譜感知；當判決接收信號來自于MU時，SU選擇接入頻譜并發起攻擊警報；SU在每個時隙結束時收到認知無線電管理結構對頻譜決策行為反饋的獎罰值，其中正確使用空閑頻譜的收益為G，對主用戶網絡造成的干擾代價為C；

步驟2.建立回報函數，確定主用戶仿真攻擊檢測中判決門限策略的優化目標；以SU獲得的收益值作為檢測的回報函數，計算公式為：

u_k(λ_k)＝(1-p-q)G+qP_D,k(λ_k)G-pP_FP,k(λ_k)C；

其中P_D,k(λ_k)表示第k個時隙進行主用戶仿真攻擊檢測的檢測概率，P_FP,k(λ_k)表示第k個時隙進行主用戶仿真攻擊檢測的虛警概率；SU在信道環境變化時通過調整判決門限，使回報函數u_k(λ_k)最大化；

步驟3.SU通過增強學習算法進行在線學習，動態調整不同信道環境下的檢測判決門限值；狀態集S用信道多徑時延差的估計值表示，量化為s_k∈{l·T_s|_0≤l≤L}，l為整數；其中T_s為SU的采樣時間間隔，L為l的取值上限，由認知無線電網絡中信道多徑時延差最大值τ_max決定，即L＝τ_max/T_s；動作集A用判決門限值表示，量化為λ_k∈{l·T_s/2|_0≤l≤2L}；建立行動值函數Q(s_k,λ_k)，通過獎罰反饋值r_k進行迭代計算，行動空間為：

具體過程如下：

步驟3-1.初始化PU信號的信道多徑時延差預設值，隨機選取τ_PU∈{l·T_s|_0＜l≤L}；

步驟3-2.初始化SU的接收機參數，包括采樣時間間隔T_s與接收機信噪比SNR；

步驟3-3.初始化學習速率α、折扣因子β、貪婪策略因子ε；初始化Q(s_k,λ_k)＝0，獎罰反饋值r₀＝0；隨機選取狀態初始值s₀∈{l·T_s|_0≤l≤L}，動作初始值λ₀∈{l·T_s/2|_0≤l≤2L}；

步驟3-4.在第k個時隙，SU通過頻譜感知觀測頻譜狀態，如果空閑頻譜存在，則s_k＝0，s_k表示在第k個時隙基于接收信號估計的信道多徑時延差；否則估計接收信號的信道多徑時延差為令

步驟3-5.更新行動值函數：

r_k-1表示在第(k-1)個時隙結束時收到認知無線電管理結構對頻譜決策行為反饋的獎罰值；

步驟3-6.如果s_k＝0，SU選擇接入頻譜，并更新λ_k←λ_k-1；否則SU以(1-ε)的概率選取判決門限以ε的概率隨機選取動作集中的判決門限λ_k∈A；

步驟3-7.如果SU判斷當前頻譜內工作用戶為PU，選擇不接入頻譜并繼續觀測；否則SU判斷當前頻譜內工作用戶為MU，選擇發起攻擊警報并接入頻譜；

步驟3-8.SU獲得認知無線電管理機構對頻譜決策行為反饋的獎罰值r_k，如果得到懲罰則證明當前工作用戶為PU，更新

步驟3-9.如果SU停止頻譜感知，則算法結束；如果SU仍處于頻譜感知狀態，則重復上述步驟3-4至步驟3-8的過程。