[發明專利]數據的處理方法及裝置

在審

• 申請號: 201910384920.0
• 申請日: 2019-05-09
• 公開（公告）號: CN110334250A
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 劉凱歌;范鴻雷
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 喻嶸;郭迎俠

本發明實施例公開了一種數據的處理方法及裝置，方法包括：按照預定方式分割待導出數據，以得到分割后的多個數據塊；按照分割的時間順序依次為各個數據塊設置對應的預定標識，以生成多個具有預定標識的數據塊。本發明實施例在處理待導出數據時，可以按照預定方式分割待導出數據，根據不同的預定方式分割，可以避免一條完整數據被分割到不同數據塊中，且為每個分割后的數據塊都設置了對應的預定標識，增加了預定標識的數據塊如果存在問題，可以通過該預定標識快速查找到與其相關的其它數據塊，即使一條完整的數據被分割，也無需通過復雜的算法進行查找，節約計算資源，提高查詢效率。

技術領域

本發明涉及數據處理領域，特別涉及一種數據的處理方法及裝置。

背景技術

隨著信息化建設和IT技術的快速發展，網絡技術的應用更加廣泛深入，但在得益于網絡加快業務處理的同時，也出現許多網絡安全問題，如竊取用戶信息、傳播計算機病毒、篡改數據信息等，這些網絡安全問題都會給系統帶來不可估量的損失。由此可見網絡安全技術的重要性更加突出，網絡安全是保障網絡空間發展的前提與基礎。

網絡安全設備運行過程中記錄的數據是進行安全分析的重要數據來源。實際應用過程中，想要進一步分析網絡中的攻擊行為隱藏的特征、規律等，需要將海量數據導出后借助外部安全分析工具分析數據。為了提高海量數據導出效率，通常在導出海量數據前，先將海量數據分割為小數據塊，然后再將所有小數據塊導出到計算機。

然而，將安全設備中存儲的海量原始數據按照固定大小直接分割數據，一條完整的數據被分割到不同的數據塊，在數據導出后，如果某個數據塊的數據存在問題，則查找到該數據塊的相關數據需要消耗大量計算資源，且耗時較長，用戶體驗較差。

發明內容

有鑒于此，本發明實施例提出了一種數據的處理方法及裝置，用以解決現有技術的如下問題：將安全設備中存儲的海量原始數據按照固定大小直接分割數據，一條完整的數據被分割到不同的數據塊，查找到該數據塊的相關數據需要消耗大量計算資源，且耗時較長，用戶體驗較差。

一方面，本發明實施例提出了一種數據的處理方法，包括：按照預定方式分割待導出數據，以得到分割后的多個數據塊；按照分割的時間順序依次為各個數據塊設置對應的預定標識，以生成多個具有預定標識的數據塊。

在一些實施例中，按照預定方式分割待導出數據，以得到分割后的多個數據塊，包括：檢測當前分割次數是否達到預設分割次數，或者，檢測當前分割后得到的數據塊數量是否達到預設數量，其中，所述預設分割次數或所述預設數量通過所述預定方式和所述待導出數據的數據大小確定；在未達到所述預設分割次數或所述預設數量的情況下，繼續按照預定方式分割所述待導出數據，直至所述待導出數據被完全分割。

在一些實施例中，生成多個具有預定標識的數據塊之后，還包括：分別對各個所述具有預定標識的數據塊進行壓縮處理，以得到待導出的壓縮數據包。

在一些實施例中，按照預定方式分割所述待導出數據，包括：在所述待導出數據中依次獲取具有固定時長的數據，和/或，在所述待導出數據中依次獲取具有固定數據大小的數據。

在一些實施例中，所述預定標識至少包括以下之一：根據數據塊記錄的起止時間生成的時間標識；根據數據塊的起止ID生成的元素ID標識；根據數據塊內容順序生成的序列號標識。

另一方面，本發明實施例提出了一種數據的處理裝置，包括：分割模塊，用于按照預定方式分割待導出數據，以得到分割后的多個數據塊；標識模塊，用于按照分割的時間順序依次為各個數據塊設置對應的預定標識，以生成多個具有預定標識的數據塊。