[發明專利]一種離線數據包存儲分析方法及裝置

有效

• 申請號: 202011204746.6
• 申請日: 2020-11-02
• 公開（公告）號: CN112256208B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 趙熙
• 申請（專利權）人: 南京云信達科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種離線數據包存儲分析方法及裝置，涉及數據處理技術領域。該方法包括：獲取離線數據包，并將其發送至多個處理CPU；處理線程對離線數據包進行拆分，以得到數據包塊，并將數據包塊寫入對應的內存緩沖區；利用讀線程和寫線程將數據包塊寫入共享內存；再將其通過索引方式從共享內存中直接寫入磁盤。從網絡接口接收到的離線數據包先被分散至不同的處理CPU進行處理，實現負載的均衡，提高處理效率。然后離線數據包會被進行拆分處理，以使離線數據包被多個處理線程并行處理，從而可以并行化分析離線數據包，進一步提高處理效率。對離線數據包建立各種索引，離線數據包會存放在磁盤上不同的文件中，進行高效的并行化處理。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種離線數據包存儲分析方法及裝置。

背景技術

信息化的時代，任何設備都可以接入到互聯網中，共享豐富的網絡資源。互聯網帶來巨大便利的同時，也暴露出更多的安全隱患，網絡攻擊的行為無處不在，計算機網絡安全的重要性更是不言而喻。對于網絡數據的分析是網絡安全重要的一個手段，識別、監聽、阻斷惡意的網絡攻擊行為從而更加全面的抵御惡意的網絡攻擊。對于高性能離線報文的存儲、入侵檢測技術尤為重要。在需要處理海量的流量數據的情況下，現有的技術在對離線數據包進行處理時，處理CPU需要對每個離線數據包進行操作，因此處理效率不高，過程耗時。

發明內容

本發明的目的在于提供一種離線數據包存儲分析方法及裝置，用以改善現有技術中對離線數據包處理效率不高的問題。

第一方面，本申請實施例提供一種離線數據包存儲分析方法，該方法包括：獲取離線數據包，并將離線數據包發送至多個處理CPU，每個所述處理CPU與一個處理線程綁定；處理線程對離線數據包進行拆分，以得到數據包塊，并將數據包塊寫入對應的內存緩沖區；利用讀線程和寫線程將數據包塊寫入共享內存；將數據包塊通過索引方式從共享內存中直接寫入磁盤。

上述實現過程中，針對網卡流量進行離線分析，從網絡接口接收到的離線數據包先被分散至不同的處理CPU進行處理，實現負載的均衡，提高處理效率。然后離線數據包會被進行拆分處理，以使離線數據包被多個處理線程并行處理，從而可以并行化分析離線數據包，進一步提高處理效率。對離線數據包建立各種索引，離線數據包會存放在磁盤上不同的文件中，為了高效檢索，還有索引文件，均為并行化處理，最終領導線程負責收集處理結果并匯總。

在本發明的一些實施例中，處理線程對離線數據包進行拆分，以得到數據包塊，并將數據包塊寫入對應的內存緩沖區的步驟，包括：為每個處理CPU對應的處理線程創建一個單獨的內存區域；每個處理線程在與其對應的區域中拆分離線數據包，并將拆分得到的數據包括寫入到每個獨立的內存緩沖區。

在本發明的一些實施例中，將數據包塊通過索引方式從共享內存中直接寫入磁盤的步驟，包括：為每個讀線程和寫線程對應創建一個索引寫線程以及線程生產者消費者隊列；將需要進行文件旋轉的數據包塊的時間戳索引傳遞至線程生產者消費者隊列中；索引寫線程監視線程生產者消費者隊列中是否有新時間戳索引；若有新時間戳索引，則獲取新時間戳索引，并創建一個RocksDB?SSTable；根據RocksDB?SSTable將與新時間戳索引對應的數據刷新到磁盤中。

在本發明的一些實施例中，將數據包塊通過索引方式從共享內存中直接寫入磁盤的步驟之后，方法還包括：將存儲于磁盤上的離線數據包整體拆分為不同的任務；多個工作線程對不同任務進行讀取和分析，并得到處理結果；領導線程收集所有處理結果，并對處理結果進行匯總。

第二方面，本申請實施例提供一種離線數據包存儲分析裝置，裝置包括：離線數據包獲取模塊，用于獲取離線數據包，并將離線數據包發送至多個處理CPU，每個所述處理CPU與一個處理線程綁定；離線數據包拆分模塊，用于處理線程對離線數據包進行拆分，以得到數據包塊，并將數據包塊寫入對應的內存緩沖區；共享內存索引模塊，用于利用讀線程和寫線程將數據包塊寫入共享內存；磁盤寫入模塊，用于將數據包塊通過索引方式從共享內存中直接寫入磁盤。