[發明專利]流式數據的特征提取方法及裝置、存儲介質、計算機設備

有效

• 申請號: 202110999767.X
• 申請日: 2021-08-30
• 公開（公告）號: CN113452581B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 辜乘風;徐明;魏國富;殷錢安;周曉勇;陶景龍;余賢喆;梁淑云;劉勝;王啟凡;馬影
• 申請（專利權）人: 上海觀安信息技術股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;G06N20/00;G06K9/62;G06F16/2455;G06F16/22
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本申請公開了一種流式數據的特征提取方法及裝置、存儲介質、計算機設備，該方法包括：接收流式數據，并獲取所述流式數據對應的網絡安全特征提取需求，其中，所述網絡安全特征提取需求包括至少一個待提取的目標維度以及至少一個待提取的目標特征；依據所述目標維度以及所述目標特征，生成特征數據提取器；利用所述特征數據提取器，提取所述流式數據中與所述目標維度以及所述目標特征對應的網絡安全特征數據。本申請通過構建特征數據提取器，并通過特征數據提取器提取流式數據的網絡安全特征數據，能夠對流式數據進行即時性特征提取，在充分發揮流式數據的低延遲性特點的同時，減少資源的占用量。

技術領域

本申請涉及數據處理技術領域，尤其是涉及到一種流式數據的特征提取方法及裝置、存儲介質、計算機設備。

背景技術

流式數據是一組順序、大量、快速、連續到達的數據序列，是一種隨時間延續而不斷增加的動態數據集合。由于流式數據具有低延遲、高吞吐的特性，因而被廣泛應用于對數據實時性要求較高的業務中，例如失陷主機判斷、DNS請求數量提取等網絡安全業務。

網絡安全業務中，大部分流式數據均需要經過特征提取后再加以應用，而當前在對流式數據進行特征提取時，通常根據網絡安全業務實際情況，預先設定時間周期，之后按照該時間周期對流式數據進行統一處理，提取出想要的特征。這種特征提取方法一方面無法充分發揮流式數據的低延遲的特點，一方面按照時間周期對流式數據統一進行特征提取前，需要對這些流式數據進行統一存儲，當流式數據的吞吐量較高時，需要占用大量的主機資源。

因此，如何對網絡安全業務中的流式數據進行即時性特征提取，在充分發揮流式數據的低延遲性特點的同時，減少資源的占用量，成為了本領域亟待解決的問題。

發明內容

有鑒于此，本申請提供了一種流式數據的特征提取方法及裝置、存儲介質、計算機設備，能夠對網絡安全業務中的流式數據進行即時性特征提取，在充分發揮流式數據的低延遲性特點的同時，減少資源的占用量。

根據本申請的一個方面，提供了一種流式數據的特征提取方法，包括：

接收流式數據，并獲取所述流式數據對應的網絡安全特征提取需求，其中，所述網絡安全特征提取需求包括至少一個待提取的目標維度以及至少一個待提取的目標特征，所述目標維度包括IP維度、時間維度以及mac局域網地址維度中的至少一種，所述目標特征包括DNS請求數量特征、ICMP請求數量特征、HTTP請求數量特征、DNS域名集合特征以及頁面訪問次數特征中的至少一種；

依據所述目標維度以及所述目標特征，生成特征數據提取器；

利用所述特征數據提取器，提取所述流式數據中與所述目標維度以及所述目標特征對應的網絡安全特征數據。

可選地，所述網絡安全特征提取需求包括請求DNS域名去重數量，所述請求DNS域名去重數量包括所述IP維度以及所述DNS域名集合特征。

可選地，所述獲取所述流式數據對應的網絡安全特征提取需求之前，所述方法還包括：

依據預設數據篩選條件，對所述流式數據進行篩選，其中，所述預設數據篩選條件包括預設數據協議。

可選地，所述依據所述目標維度以及所述目標特征，生成特征數據提取器，具體包括：

分別依據每個目標特征，建立與所述每個目標特征各自匹配的特征數據提取工具；

依據所述目標維度、所述目標特征以及所述特征數據提取工具，生成所述特征數據提取器，其中，所述特征數據提取器包括提取器頭部以及提取器主體，所述提取器頭部用于指示所述目標維度以及所述目標特征，所述提取器主體包括所述特征數據提取工具。

可選地，所述利用所述特征數據提取器，提取所述流式數據中與所述目標維度以及所述目標特征對應的網絡安全特征數據，具體包括：