[發明專利]一種數據處理方法及裝置

在審

• 申請號: 202111298767.3
• 申請日: 2021-11-04
• 公開（公告）號: CN114020967A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 劉艷蘭
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 喻嶸

本發明提供了一種數據處理方法及裝置，所述方法包括：獲得多條用于檢測數據的檢測規則，每條檢測規則為包括整形數字、字符串型中文詞語、字符串型英文單詞、字符串型符號中的一種或多種形成的數據集合構建字典樹結構；將所述多條檢測規則中的每一條均進行分割；將分割后的每條檢測規則分別布設在所述字典樹結構的不同分支上形成數據過濾器，每個所述分支上的各個節點上布設的數據為同一條所述檢測規則內的數字或至少一個詞段；獲得待測數據；將所述待測數據輸入至所述數據過濾器，基于所述數據過濾器對所述待測數據進行過濾，以至少用于確定出目標數據。本發明的數據處理方法適用范圍廣，并能夠快速有效地對數據進行檢測。

技術領域

本發明實施例涉及計算機技術領域，特別涉及一種數據處理方法及裝置。

背景技術

隨著信息時代的快速發展和各種數據存儲技術的出現，數據存儲領域對各類數據的合理存放和快速查詢匹配需求廣泛且迫切，現有存儲技術在數據存儲結構和匹配方法上已不能滿足快速且精準匹配的信息處理需求。

目前較為常用的是基于Trie字典樹的混合過濾器實現數據查找、匹配，其主要是通過在Trie字典樹基礎上給根節點疊加數組結構以及設置字典樹節點結構的方法進行匹配性能提升，主要應用于提升基于LSM日志樹的存儲引擎實現的數據庫的查詢性能。原理是將Trie字典樹作為混合過濾器的基本結構，設置Trie字典樹前綴長度，同時在Trie字典樹的最后一層的根節點上增加二進制數組，根據內存占用，調整前綴長度和二進制數組長度；在范圍查詢時可以進行的文件過濾，降低IO吞吐量，主要應用于提升基于LSM日志樹的存儲引擎實現的數據庫的查詢性能。

但是上述方法僅用于單一數據類型的匹配，適用范圍狹窄。而且基礎數據結構(字典樹)的改進點有限，改進方法獲得的性能提升有限。

發明內容

本發明提供了一種適用范圍廣，并能夠快速有效地對數據進行匹配檢測的數據處理方法及裝置。

為了解決上述技術問題，本發明實施例提供了一種數據處理方法，包括：

獲得多條用于檢測數據的檢測規則，每條檢測規則為包括整形數字、字符串型中文詞語、字符串型英文單詞、字符串型符號中的一種或多種形成的數據集合；

構建字典樹結構；

將所述多條檢測規則中的每一條均進行分割；

將分割后的每條檢測規則分別布設在所述字典樹結構的不同分支上形成數據過濾器，每個所述分支上的各個節點上布設的數據為同一條所述檢測規則內的數字或至少一個詞段；

獲得待測數據；

將所述待測數據輸入至所述數據過濾器，基于所述數據過濾器對所述待測數據進行過濾，以至少用于確定出目標數據

作為一可選實施例，所述將所述多條檢測規則中的每條檢測規則進行分割，包括：

對每條所述檢測規則基于整形數字、字符串型中文詞語、字符串型英文單詞中的一種或多種為分割條件進行分割，以得到用于組成所述檢測規則的數字和/或詞段，所述數字包括一個數字，或多個數字組成的數組。

作為一可選實施例，每條所述檢測規則的分割條件相同，或至少一條所述檢測規則的分割條件不同。

作為一可選實施例，所述將分割后的每條檢測規則分別布設在所述字典樹結構的不同分支上形成數據過濾器，包括：

將分割得到的用于形成每條所述檢測規則的數字和/或詞段按序依次布設在對應的分支的不同節點上。

作為一可選實施例，所述將所述待測數據輸入至所述數據過濾器，基于所述數據過濾器對所述待測數據進行過濾，以用于確定出目標數據，包括：

將所述待測數據根據目標分割條件進行分割，所述目標分割條件至少與一條所述檢測規則使用的分割條件匹配；