[發明專利]基于大數據處理框架的神經網絡算法在IDS中的應用

在審

• 申請號: 201611030450.0
• 申請日: 2016-11-16
• 公開（公告）號: CN108073807A
• 公開（公告）日: 2018-05-25
• 發明（設計）人: 楊育斌;陳梅蓮;柯宗貴
• 申請（專利權）人: 藍盾信息安全技術有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于大數據處理框架的神經網絡算法在IDS中的應用，本發明設計了基于大數據技術處理框架的BP神經網絡分類器模型在入侵檢測系統中的應用。該模型除應用了大數據技術處理框架，還應用了基于Kolmogorov定理和訓練函數“trainbfg”擬牛頓算法的BP神經網絡算法。

技術領域

本發明涉及大數據應用領域，具體的說，涉及基于大數據處理框架的神經網絡算法在IDS中的應用。

背景技術

IDS按照檢測環境不同可以分為網絡入侵檢測系統、主機入侵檢測系統和分布式入侵檢測系統。基于網絡的入侵檢測系統其數據來源于網絡中的信息流，而基于主機的入侵檢測系統則來源于系統的審計日志，一般只能檢測單個主機上發現的日志，而分布式入侵檢測系統主要是將主機入侵檢測系統和網絡入侵檢測系統結合，使系統可以對異構，多點環境進行檢測，是現在入侵檢測系統的發展方向。

大數據正在對每個領域都造成影響，在商業、經濟和其他領域中，決策行為將日益基于數據分析做出，而不是像過去更多地憑借經驗和直覺。值得注意的是，隨著世界經濟技術的發展，全世界網絡規模不斷擴大，全球網絡流量以及各種主機產生的日志信息都在呈指數級上升。大數據的規模效應給數據存儲、管理以及數據分析帶來了新問題的同時，也面臨了新的挑戰。隨著海量數據的集中和信息技術的發展，傳統入侵行為檢測技術、安全防護手段的更新升級速度已經無法跟上數據量非線性增長的步伐，而且面臨著黑客攻擊手段不斷翻新和系統升級的挑戰。總而言之，面對大規模數據量的增長，傳統的入侵檢測技術在處理速度和能力上都很難勝任。

因此有必要建立基于大數據技術處理框架的新型入侵檢測系統，并應用自動化和系統化程度更高的檢測算法去檢測網絡入侵行為。因此通過BP神經網絡算法分析，結合Hadoop大數據技術框架平臺的特性，使網絡入侵檢測框架具有高擴展性，高性價比，容錯能力強。

發明內容

為了解決上述問題，本發明提供了基于大數據處理框架的神經網絡算法在IDS中的應用。

本發明設計了基于大數據技術處理框架的BP神經網絡分類器模型在入侵檢測系統中的應用。該模型除應用了大數據技術處理框架，還應用了基于Kolmogorov定理和訓練函數“trainbfg”擬牛頓算法的BP神經網絡算法。具體內容包括：

BP神經網絡算法模型，該模型是一種多層前饋神經網絡，即采用誤差反向傳播學習算法的神經網絡；該算法模型包括輸入層、隱藏層和輸出層，相鄰層神經元之間采用全連接方式，同一層之間沒有任何連接；同層節點間無任何耦合，每一層的神經元只接受前一層神經元的輸入，每一層神經元的輸出只影響下一層神經元的輸出，網絡中每一層的權值通過學習來調，實現從輸入到輸出的任意非線性映射；神經網絡具有自學習、聯想記憶和模糊運算能力，應用于入侵檢測系統，使得神經網絡不僅可以識別出已有的攻擊模式，還可以檢測出未知攻擊的能力；神經網絡作為一種高效并行非線性動態處理系統，可以滿足實時處理系統的要求。

Kolmogorov定理指出：為了近似一個N個變量的連續函數，可以精確地用一個三層前向神經網絡實現，此網絡的第一層即輸入層有N個神經元，中間層2N+1個神經元，第三層即輸出層有M個神經元。因此，本系統將基于Kolmogorov定理設計神經網絡模型，采用訓練函數“trainbfg”擬牛頓算法。擬牛頓法的基本思想就是引進一組矩陣來代替Hessian陣(一般的牛頓法中都要用到當前函數的二次導數(Hessian陣))，它既不需要計算二階導數，又能很好地逼近，這樣就保持了收斂速度快的優點，又避免了牛頓法的繁瑣的計算。因此，我們采用了三層BP網絡。

本發明技術方案帶來的有益效果：