[發明專利]一種基于大數據存儲的檢索分析方法、裝置及介質

有效

• 申請號: 201910362509.3
• 申請日: 2019-04-30
• 公開（公告）號: CN110245208B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 凌翔;秦昊;張東波;楊瑞;魏千洲;林利彬;劉智;張昱;王曉旭;郭旭
• 申請（專利權）人: 廣東省智能制造研究所
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明公開一種基于大數據存儲的檢索分析方法、裝置及介質，涉及數據存儲分析技術領域，包括接收字段查詢信息；根據所述字段查詢信息在存儲數據中搜索對應的現場可搜索事件，所述現場可搜索事件為一個或多個信息技術系統的安全性或性能方面的活動事件；生成對應的現場可搜索事件的子集；識別子集中一個或多個事件中字段，并確定上述字段存在的唯一值的個數；顯示所選的字段名稱和所述唯一值的個數，字段名稱為可在查詢信息中引用的字段的字段名稱；根據用戶輸入的條件，面向存儲于各數據中心的海量大數據，基于特定的查詢標準對一組可搜索事件進行查詢，顯示查詢字段結果和唯一值數字，從而極大的提升檢索的速率，改善大數據庫檢索的使用感受。

技術領域

本發明涉及數據存儲分析技術領域，尤其涉及一種基于大數據存儲的檢索分析方法、裝置及介質。

背景技術

在大數據的環境下，根據用戶提供的條件快速和準確的檢索到用戶關心和感興趣的信息，是大數據應用的基礎和重要的組成部分。隨著計算機技術的不斷發展和信息化程度的不斷提高，數據量迅速增長，面向海量數據存儲及應用也隨之蓬勃發展，大數據應用越來越廣泛。如，在網絡安全上，使用大數據技術分析網絡攻擊行為；在電子商務上，使用大數據技術分析用戶購物喜好或最受青睞的商品；在城市建設上，利用大數據技術構建智慧城市，方便人民出行。諸如此類，大數據技術在建設節約型社會，提高生成效率等方面起到了積極的推動作用。

但隨著數據量的持續增大和大數據應用的不斷發展，用于分業務或分省點存儲數據的數據中心也越來越多。某些行業或機構常設立多個數據中心用于存儲業務數據，如此在海量數據分析應用中，只能對單數據中心進行數據提取，對各數據中心的所有數據作為整體數據集進行分組、統計、排序等簡單分析的需求也日益明顯。在大數據應用中，將存儲于各數據中心的海量數據作為整體進行分析是必備手段之一。

發明內容

本發明針對背景技術的問題提供一種基于大數據存儲的檢索分析方法、裝置及介質，以達到提升檢索的速率，改善大數據庫檢索的使用感受。

為了實現上述目的，本發明提出一種基于大數據存儲的檢索分析方法，方法包括：

接收字段查詢信息；

根據所述字段查詢信息在存儲數據中搜索對應的現場可搜索事件，其中，所述現場可搜索事件為一個或多個信息技術系統的安全性或性能方面的活動事件；

生成所述對應的現場可搜索事件的子集；

識別所述子集中一個或多個事件中的字段，并確定上述字段存在的唯一值的個數；

顯示所選的字段名稱和所述唯一值的個數，其中，所述字段名稱為可在查詢信息中引用的字段的字段名稱。

優選地，所述字段查詢信息，包括但不限于：字段的值標準、和/或關鍵字的標準、和/或時間范圍。

優選地，所述存儲數據，包括：多組現場可搜索事件，其中，

各組現場可搜索事件中的每個事件均與時間戳關聯；

各組現場可搜索事件中的每個事件均包括反映一個或多個信息技術系統中活動的機器數據；

各組現場可搜索事件中至少一個事件包括反映一個或多個信息技術系統中活動的日志數據；

各組現場可搜索事件中至少一個事件包括非結構化數據。

優選地，還包括：

顯示具有字段并且存在于子集事件中的兩個或更多個事件的信息，其中，所述兩個或更多個事件以對應于字段的排序進行順序顯示。

優選地，所述字段的值標準，其中，所述字段存在于一組字段可搜索事件中的一個或多個事件中。

優選地，所述關鍵字的標準，具體為：要求匹配事件具有特定關鍵字的標準。