[發明專利]基于最大頻繁模式的動態規則庫構建方法

有效

• 申請號: 201810092166.9
• 申請日: 2018-01-30
• 公開（公告）號: CN108173876B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 肖如良;陳雄;蔡聲鎮;熊金波;倪友聰;龔平;許力
• 申請（專利權）人: 福建師范大學
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種基于最大頻繁模式的動態規則庫構建方法，其特征在于，包括以下步驟：

（1）輸入Web日志數據集，然后對Web日志數據集進行數據過濾，將時間格式轉化為時間戳并獲取當前時間，將IP和URL映射為數字；

（2）進行用戶識別和會話識別，構造Web用戶訪問序列數據庫WASD；

（3）遍歷WASD的每行數據，其中一行數據表示一個用戶的訪問序列，根據用戶訪問行為距當前時間的遠近過濾出每個用戶的近期訪問行為，構成該用戶的近期訪問序列，進而由所有用戶的近期訪問序列構成動態Web用戶訪問序列數據庫DWASD；

（4）給定最小支持度閾值θ，構造Spark運行環境變量sc，讓Master主結點分配Worker從節點讀取DWASD數據集，作為各Worker從結點的file變量；

（5）計算最近最小支持度min_support；

（6）第一次掃描數據庫，使用countPrefix(_._1)函數對前綴進行權重計數，并使用filter過濾函數來提取頻繁1項集；

（7）通過得到的頻繁1項集分割搜索空間序列模式，構建各頻繁1項集的投影數據庫；

（8）遞歸每一個頻繁1項集為前綴的投影數據庫，找出頻繁2項集；

（9）判斷是否繼續產生頻繁子序列，是則按步驟（7）、（8）的方法，繼續遞歸構建頻繁項集的投影數據庫，否則得到所有的頻繁序列模式；

（10）計算最大頻繁項集，并將其保存到動態規則庫矩陣變量DRB中，從而得到基于最大頻繁模式的動態規則庫；

在步驟（3）中，根據用戶訪問行為距當前時間的遠近過濾出用戶的近期訪問行為的方法為：

（31）計算用戶訪問每個頁面的權重：

W_ui = 1/(1+α*|t_c-t_ui|)

其中，W_ui表示用戶u訪問頁面i的權重，α表示時間衰減系數，t_c表示當前時間，t_ui表示用戶u訪問頁面i的時間戳；

（32）判斷權重W_ui是否大于設定的時間閾值β，是則判定該權重對應的用戶訪問行為為近期訪問行為；

（33）重復步驟（31）-（32），得到該用戶的所有近期訪問行為，進而由該用戶的所有近期訪問行為構成該用戶的近期訪問序列。

2.根據權利要求1所述的基于最大頻繁模式的動態規則庫構建方法，其特征在于，在步驟（5）中，最近最小支持度min_support的計算方法為：

min_support = file.count()*θ

其中，file.count()是計算讀入DWASD里面的數據條數，θ是最小支持度閾值。

3.根據權利要求1所述的基于最大頻繁模式的動態規則庫構建方法，其特征在于，在步驟（7）中，通過得到的頻繁1項集分割搜索空間序列模式，構建各頻繁1項集的投影數據庫，具體方法為：將頻繁序列數據庫分為n個具有不同前綴的頻繁序列的子集，分割為n空間就是各頻繁1項集為前綴的投影數據庫，其中n是頻繁1項集的數量。

4.根據權利要求1所述的基于最大頻繁模式的動態規則庫構建方法，其特征在于，在步驟（10）中，計算最大頻繁項集的具體方法為：

（101）遍歷挖掘出來的頻繁序列，保存到A(n)中；其中，A(n)表示頻繁序列長度為n的頻繁序列；

（102）遍歷A(n)與A(n+1)，判斷這兩個相鄰長度里面頻繁序列是否是子序列關系，刪除子序列；

（103）把剩余最大頻繁項集保存到DRB中；其中，DRB為動態規則庫矩陣。