[發明專利]一種離線數據包存儲分析方法及裝置

有效

• 申請號: 202011204746.6
• 申請日: 2020-11-02
• 公開（公告）號: CN112256208B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 趙熙
• 申請（專利權）人: 南京云信達科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種離線數據包存儲分析方法，其特征在于，所述方法包括：

獲取離線數據包，并將所述離線數據包發送至多個處理CPU，每個所述處理CPU與一個處理線程綁定；

所述處理線程對所述離線數據包進行拆分，以得到數據包塊，并將所述數據包塊寫入對應的內存緩沖區；

利用讀線程和寫線程將所述數據包塊寫入共享內存；

將所述數據包塊通過索引方式從所述共享內存中直接寫入磁盤；

將所述數據包塊通過索引方式從所述共享內存中直接寫入磁盤的步驟，包括：

為每個所述讀線程和所述寫線程對應創建一個索引寫線程以及線程生產者消費者隊列；

將需要進行文件旋轉的數據包塊的時間戳索引傳遞至所述線程生產者消費者隊列中；

所述索引寫線程監視所述線程生產者消費者隊列中是否有新時間戳索引；

若有所述新時間戳索引，則獲取所述新時間戳索引，并創建一個RocksDB?SSTable；

根據所述RocksDB?SSTable將與所述新時間戳索引對應的數據刷新到磁盤中。

2.根據權利要求1所述的方法，其特征在于，所述處理線程對所述離線數據包進行拆分，以得到數據包塊，并將所述數據包塊寫入對應的內存緩沖區的步驟，包括：

為每個所述處理CPU對應的所述處理線程創建一個單獨的內存區域；

每個處理線程在與其對應的區域中拆分所述離線數據包；

依次從拆分后的所述離線數據包中讀取一個塊；

對所述塊進行索引，并開始異步寫入。

3.根據權利要求1所述的方法，其特征在于，將所述數據包塊通過索引方式從所述共享內存中直接寫入磁盤的步驟之后，所述方法還包括：

將存儲于所述磁盤上的離線數據包整體拆分為不同的任務；

多個工作線程對不同所述任務進行讀取和分析，并得到處理結果；

領導線程收集所有處理結果，并對所述處理結果進行匯總。

4.一種離線數據包存儲分析裝置，其特征在于，所述裝置包括：

離線數據包獲取模塊，用于獲取離線數據包，并將所述離線數據包發送至多個處理CPU，每個所述處理CPU與一個處理線程綁定；

離線數據包拆分模塊，用于所述處理線程對所述離線數據包進行拆分，以得到數據包塊，并將所述數據包塊寫入對應的內存緩沖區；

共享內存索引模塊，用于利用讀線程和寫線程將所述數據包塊寫入共享內存；

磁盤寫入模塊，用于將所述數據包塊通過索引方式從所述共享內存中直接寫入磁盤；

所述磁盤寫入模塊包括：

線程創建模塊，用于為每個所述讀線程和所述寫線程對應創建一個索引寫線程以及線程生產者消費者隊列；

時間戳索引傳遞模塊，用于將需要進行文件旋轉的數據包塊的時間戳索引傳遞至所述線程生產者消費者隊列中；

監視模塊，用于所述索引寫線程監視所述線程生產者消費者隊列中是否有新時間戳索引；

數據庫表創建模塊，用于若有所述新時間戳索引，則獲取所述新時間戳索引，并創建一個RocksDB?SSTable；

數據刷新模塊，用于根據所述RocksDB?SSTable將與所述新時間戳索引對應的數據刷新到磁盤中。

5.根據權利要求4所述的裝置，其特征在于，所述離線數據包拆分模塊包括：

內存區域創建單元，用于為每個所述處理CPU對應的所述處理線程創建一個單獨的內存區域；

拆分單元，用于每個處理線程在與其對應的區域中拆分所述離線數據包；

塊讀取單元，用于依次從拆分后的所述離線數據包中讀取一個塊；

異步寫入單元，用于對所述塊進行索引，并開始異步寫入。

6.根據權利要求4所述的裝置，其特征在于，所述裝置還包括：

任務獲取模塊，用于將存儲于所述磁盤上的離線數據包整體拆分為不同的任務；

處理模塊，用于多個工作線程對不同所述任務進行讀取和分析，并得到處理結果；

匯總模塊，用于領導線程收集所有處理結果，并對所述處理結果進行匯總。