[發明專利]一種流量異常檢測與DNS信道異常檢測系統及方法

有效

• 申請號: 202010029959.3
• 申請日: 2020-01-13
• 公開（公告）號: CN111294332B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 周彥倜;裴丹;李晉晉;黃瑋堯;孫思遠;隋楷心;黃成;湯汝鳴
• 申請（專利權）人: 交通銀行股份有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L61/4511;G06F18/214;G06F18/2413;G06F18/2431;G06N3/09
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 葉敏華

1.一種流量異常檢測與DNS信道異常檢測系統，其特征在于，包括：

預處理模塊：用于對歷史流量數據和歷史DNS日志數據進行初步預處理，提取基本信息，包括時間戳，源IP地址、端口號，目的IP地址、端口號，記錄類型，和記錄設備；

異常檢測模塊：

黑名單過濾單元，用于根據預先設定好的黑名單及過濾規則，過濾預處理后的數據中已知的異常日志，并對過濾的異常數據及保留的正常數據各自進行相應的標注；

特征提取單元，用于對異常數據集、正常數據集分別進行特征提取；特征提取單元提取的特征包括通用特征、網絡流量特征、DNS日志、類型特征以及資源數據特征；

威脅檢測單元，用于根據需要檢測的異常威脅類型，對異常數據集、正常數據集提取的特征選定不同的檢測器模型組合訓練并生成對應的模型，并對訓練后的模型輸入測試數據進行威脅檢測；所述的威脅檢測單元通過串聯或并聯方式組合多個檢測器模型對多個威脅進行檢測，針對流量數據，所述的威脅檢測單元不設置專門的威脅類型，所述的威脅檢測單元采用串聯或并聯的多個無監督學習算法的檢測器模型檢測數據中的離群點統一檢測異常；

核查反饋模塊：

白名單過濾與人工調查單元，用于對威脅檢測的結果進行進一步核查，并將核查結果反饋至異常檢測模塊，更新異常數據集、正常數據集并再次執行威脅檢測步驟；

聚合及可視化單元，用于對異常檢測結果進行聚合、歸一化，并將單一威脅關聯到主機級別的威脅結果進行可視化展示與風險評分；

應用上述流量異常檢測與DNS信道異常檢測系統，以實現一種流量異常檢測與DNS信道異常檢測檢測方法，包括如下步驟：

1)對歷史訓練數據進行預處理，依據預處理后的數據通過預先設定好的黑名單及過濾規則，過濾已知的異常日志，將異常日志和正常日志分別進行不同的標注，并將異常日志視為負樣本，將正常日志視為正樣本；

2)對于正樣本、負樣本的數據分別進行特征提取，提取后的特征分別進行相應的標注，隨后將特征劃分為訓練集與評估集，將訓練集?輸入模型中進行訓練，針對流量數據，采用編碼器-解碼器網絡模型進行訓練，針對DNS日志數據，利用隨機森林模型與孤立森林模型串聯或并聯的方式進行模型訓練；

3)將被檢測的實時DNS日志作為測試數據輸入訓練后的模型進行異常檢測，模型輸出的檢測結果通過白名單及其過濾規則進行再一次過濾，過濾的數據經過人工調查后反饋至威脅檢測單元；

4)威脅檢測單元對反饋的結果進行判斷，對于正樣本，若反饋結果是漏報的正常樣本，則增加其至原始正樣本中，同時修正原來的標注，若反饋結果是誤報樣本，則將其增加其至原始負樣本中，同時修正原來的標注；對于負樣本，若反饋結果是漏報的異常樣本，則增加其至原始負樣本中，同時修正原來的標注，若反饋結果是誤報樣本，則將其增加其至原始正樣本中，同時修正原來的標注；

5)將反饋結果調整后，繼續進行樣本特征提取、模型訓練、異常檢測及白名單過濾和人工調查過程，直至不再出現誤報樣本和漏報樣本為止；

6)通過聚合及可視化單元對多種不同威脅的檢測結果進行進一步聚合和可視化操作，進而對主機失陷的可能性進行檢測，并展示主機實體的風險評分。

2.根據權利要求1所述的一種流量異常檢測與DNS信道異常檢測系統，其特征在于，所述的白名單過濾與人工調查單元與黑名單過濾單元的名單及過濾規則相反，用于過濾掉正常的數據。

3.根據權利要求1所述的一種流量異常檢測與DNS信道異常檢測系統，其特征在于，針對流量數據，所述的威脅檢測單元采用的無監督學習算法的檢測器模型為編碼器-解碼器網絡模型。

4.根據權利要求1所述的一種流量異常檢測與DNS信道異常檢測系統，其特征在于，針對DNS日志數據，所述的威脅檢測單元設置專門的威脅類型，并針對專門的威脅類型利用隨機森林模型與孤立森林模型串聯或并聯的方式對多個威脅進行檢測，采用孤立森林的威脅檢測步驟設于采用隨機森林的威脅檢測步驟后。

5.根據權利要求3或4所述的一種流量異常檢測與DNS信道異常檢測系統，其特征在于，威脅檢測單元的檢測結果通過機器學習領域的通用指標進行判斷，通過調整各檢測器的閾值使各通用指標達到最大表示檢測結果最優，所述的通用指標包括準確率、召回率以及F1分值。