[發明專利]用于惡意URL檢測的在線主動機器學習方法

有效

• 申請號: 201911010913.0
• 申請日: 2019-10-23
• 公開（公告）號: CN110766165B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 王子涵;翟婷婷
• 申請（專利權）人: 揚州大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F16/955;H04L43/08
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 董旭東;陳棟智

1.一種用于惡意URL檢測的在線主動機器學習方法，其特征在于，包括以下步驟：

步驟1)第t輪，t＝1，2，...∞，當互聯網用戶要訪問一個URL時，首先利用自動特征提取器，對該URL進行分析，提取出詞匯特征、基于主機的特征和DNS特征，將所有的特征連接在一起，構成該URL的特征向量x_t；

步驟2)使用最新的分類器w_t對x_t進行在線預測：其中sgn是符號函數；如果則預測該URL是惡意的，向用戶發出警告；否則，預測該URL是正常的；

步驟3)在線預測結束后，進入標記決策階段，判斷是否對當前的URL進行標記；記Z_t表示標記決策變量；如果Z_t＝1，則請網絡安全專家進行標記，從而得到該URL的真實類標記y_t∈{+1，-1}；如果Z_t＝0，則決定不標記，不更新在線分類器，然后進入到步驟5)，標記決策程序具體步驟如下：

3-1)接收到當前URL的特征向量x_t；

3-2)計算η是學習步長參數，其中w_t是當前的預測模型，矩陣H_t-1是自適應次梯度算法中所維護的對角矩陣，存儲當前特征的頻度信息以衡量特征的辨別能力；

3-3)令γ_t＝p_t-v_t；

3-4)如果γ_t＞0，則從參數為δ/(δ+γ_t)的伯努利分布中提取一個隨機量Z_t∈{0，1}；如果γ_t≤0，則Z_t＝1；其中δ＞0是采樣參數；

步驟3-2)中，p_t表示當前x_t被預測的置信度，p_t的值越小，表明預測的置信度越小；v_t則表示當前x_t中特征的辨別能力，v_t的值越小，意味著x_t中的非零特征出現的頻率越高，表明x_t中特征的辨別能力越弱；

步驟4)獲得完整的URL數據信息(x_t，y_t)后，利用在線模型更新程序修正當前的分類器w_t，得到最新的分類器w_t+1，具體步驟如下：

4-1)接收到完整的URL數據信息(x_t，y_t)；

4-2)計算得到損失函數f_t(w)在當前w_t處的次梯度其中是鉸鏈損失，衡量對(x_t，y_t)預測的不準確程度；

4-3)將t＝1時刻到當前時刻所獲得的所有次梯度信息g_t都存儲在矩陣G_1：t＝[g₁?g₂?…g_t]中，根據該矩陣計算每個特征i的頻度信息s_t，i＝||G_1：t，i||₂，其中G_1：t，i表示矩陣G_1：t的第i個行向量，s_t，i是向量s_t的第i個元素；

4-4)將特征頻度信息存儲在對角矩陣H_t＝αI+diag(s_t)中，其中diag(s_t)表示將向量s_t的每個元素依次放在對角矩陣的主對角線上，α是一個預定義常數，I是單位陣；

4-5)設置函數選擇如下一種更新規則對預測模型進行在線更新：

(a)ARDA更新規則：

(b)ACMD更新規則：

其中η是學習步長；函數是正則化函數，用于控制模型w的復雜度，參數λ是一個預定義的常數；表示截止到t時刻邀請專家進行標記的次數，k為迭代變量；是w和w_t之間關于函數ψt的Bregman距離，定義如下：

其中表示函數ψ_t在w_t處的梯度；

步驟5)回到步驟1)，等待用戶瀏覽器發出第t+1輪的URL請求。

2.根據權利要求1所述的用于惡意URL檢測的在線主動機器學習方法，其特征在于，在運行前需要對在線預測模型和頻度信息矩陣進行初始化，包括兩種初始化方法：一種是沒有任何先驗知識的情況下，直接令w₁＝0和H₀＝αI，此時方法從零開始學習；另一種是利用用戶黑名單列表中的信息構建一個同時包含惡意和正常URLs的訓練集，基于該訓練集利用全監督的自適應次梯度算法得到初始預測模型w₁和H₀。