[發明專利]一種基于weka接口的分布式機器學習方法

有效

• 申請號: 201610004032.8
• 申請日: 2016-01-04
• 公開（公告）號: CN105677615B
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 崔寶江;石佩林;張曉瑋;田進山
• 申請（專利權）人: 北京郵電大學;北京奇虎科技有限公司
• 主分類號: G06F15/18
• 分類號: G06F15/18
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 姜榮麗

1.一種基于weka接口的分布式機器學習方法，其特征在于：包括如下步驟，

第一步，數據預處理：web日志文件被切分成n個小文件，提取出統一資源標識符，對統一資源標識符進行包括靜態文件過濾、大寫轉小寫，將連續的斜線”/”轉換為一個斜線以及解碼操作；所述的Web日志文件是在線上服務器中產生并直接存儲到云計算平臺，所述數據預處理基于mapreduce框架并行處理，對于每一個小文件Mappers階段會啟動一個Map()函數來處理；

第二步，特征提取；

對步驟一中預處理后的uri采取分割取字段、根據uri的組成類型、是否含特殊字符、長度、關鍵字出現個數和一定規則的權值計算得出所要提取的21個特征，以向量的形式輸出特征向量；并對特征向量采用log函數進行量化和合并處理，生成結果文件；結果文件的文件格式是weka所要求的arff格式；

第三步，weka格式文件的本地訓練；

本地訓練時調用weka接口，運用weka接口里面已封裝好的隨機森林算法，生成模型文件RandomForest.model，上傳到云計算平臺；

第四步，云計算平臺進行線上海量數據分布式測試，將Web日志文件與模型文件進行匹配，生成最終檢測結果；所述的云計算平臺是基于hadoop、spark或storm大數據處理的框架組成的集群系統。