[發明專利]基于Storm的馬爾可夫等價類模型分布式學習方法

有效

• 申請號: 201611122068.2
• 申請日: 2016-12-08
• 公開（公告）號: CN106650800B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 丁飛;莊毅;顧晶晶;鐘偉
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

本發明公開了基于Storm的馬爾可夫等價類模型分布式學習方法。包括以下步驟：步驟1，使用Storm框架創建集群的計算節點；步驟2，初始化節點創建初始馬爾可夫等價類狀態，并生成狀態圖元組；步驟3，搜索節點計算當前狀態圖元組的所有合法修改操作符，并應用于當前狀態圖元組上；步驟4，評分節點使用最小描述長度準則計算模型對數據集的擬合度評分；步驟5，輸出節點判定狀態圖元組是否達到局部最優，最終得到最匹配網絡流量數據的馬爾可夫等價類模型。本發明在入侵檢測系統的分類器模型訓練問題上，充分利用了分布式存儲給計算過程帶來的加速優勢，提高了入侵檢測系統對網絡流量數據的實時處理能力。

技術領域

本發明屬于計算機云計算、大數據及機器學習領域，具體涉及基于Storm的馬爾可夫等價類模型分布式學習方法。

背景技術

馬爾可夫等價類模型是一種描述隨機變量間概率關系的圖模型，由CPDAG(Complete Partial DirectedAcyclic Graph，完全部分有向無環圖)來表示，作為入侵檢測中的統計方法，能夠有效地反應網絡流量數據中各屬性之間的關系。從大規模網絡流量數據中發現能夠描述其關聯規則的馬爾可夫等價類模型的方法具有很高的復雜度，已被證明是NP難問題。另外，對大規模數據的單機環境的集中式處理方式使模型的學習過程受到嚴重限制。

目前已有許多學者使用馬爾可夫等價類模型等概率圖模型描述網絡流量數據間的相互關系，并使用了并行化方法加速概率圖模型的學習過程。Sahin和Devasia將粒子群算法應用到概率圖模型的并行化上；Yu等提出了并行三階段相關性分析方法，使用條件獨立性測試來合并局部結構。另一方面，云計算技術的發展也為克服數據量瓶頸提供了新的解決途徑。Yue K.等使用Hadoop的MapReduce框架擴展了評分與搜索方法使其學習過程能夠被適用于大規模數據集；Arias等使用Spark減少了此類方法在集群計算過程中的數據傳輸量，進一步加速了模型的學習過程。

在使用網絡流量數據對馬爾可夫等價類模型進行訓練的過程中，對其搜索空間中的環狀路線進行檢測也是并行化樹式搜索方法的困難之一，這使得現有方法對模型學習過程的并行化粒度較粗，并且常容易受到特定參數的制約。例如并行度受限于圖模型中的節點數量，會使得高加速比所帶來的性能提升不能發揮到最大。并且已有技術僅將計算任務分布式地在集群上執行，較少關注分布式環境下搜索空間的狀態數據存儲問題，不能完全有效地發揮云計算對大規模數據的處理能力。急需一種具有高加速比的概率圖模型分布式學習方法，來滿足入侵檢測系統對大規模網絡流量數據的實時性需求。

發明內容

本發明的目的在于提供基于Storm的馬爾可夫等價類模型分布式學習方法，從而從大規模數據集中高效地學習馬爾可夫等價類模型，提高入侵檢測系統中使用實時網絡流量數據對模型進行訓練的性能。

實現本發明的技術解決方案為：一種基于Storm的馬爾可夫等價類模型分布式學習方法，具體包括以下步驟：

步驟1、將馬爾可夫等價類模型的訓練數據集上傳至分布式文件系統HDFS(Hadoopdistributedfile system)中，通過Storm平臺的Topology框架對訓練數據集進行學習，創建四種云計算計算節點，分別是初始化節點node⁰、搜索節點node¹、評分節點node²和輸出節點node³；

步驟2、初始化節點node⁰創建初始馬爾可夫等價類狀態ε_i，使用初始馬爾可夫等價類狀態生成發送給node^k的狀態圖元組其中k為云計算節點編號，且0≤k≤3，并發送至任一搜索節點node¹以啟動搜索過程，向集群中唯一的輸出節點發送狀態圖元組其中是包含了搜索空間內第i個馬爾可夫等價類的狀態圖元組，是在搜索空間內的第j個相鄰狀態圖元組；