[發明專利]數據查詢方法及系統

有效

• 申請號: 201210566137.4
• 申請日: 2012-12-24
• 公開（公告）號: CN103064933A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 謝永方
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 李楠

技術領域

本發明涉及計算機網絡技術領域，尤其涉及一種數據查詢方法、數據查詢服務器、數據采集器及一種數據查詢系統。

背景技術

在當前互聯網極度發達的時代，數據的采集與查詢系統具有廣泛的用途，各種信息技術（Informat?ion?Technology，IT）系統、網絡設備、安全設備都會產生大量的日志等數據，其中有很多日志數據需要長期存檔，并用于各種審計和查詢。

在海量數據的采集查詢系統中，系統的架構有分布式存儲和集中式存儲兩種方式，不論哪種方式，都面臨著海量日志數據的快速存儲、快速查詢的需求。

現有的一種分布式數據查詢系統包括一臺數據查詢服務器和多臺數據采集器，數據采集器負責日志的采集（接收、格式化、歸并）、存儲和建立索引，數據查詢服務器是日志查詢的統一入口。需要查詢指定日志的時候，由數據查詢服務器給所有的數據采集器下發查詢命令，將所有數據采集器的查詢結果收到之后匯總出最終的查詢結果。如果數據采集器很多，一次查詢中要查詢的日志僅存在于少數數據采集器中，查詢操作又很頻繁，則這種現有方案會增加所有數據采集器的負擔，包括數據采集器的功耗和中央處理單元（Central?Processing?Unit，CPU）資源，同時數據采集器除了查詢之外，還需要做數據接收和入庫的工作，如果查詢操作很頻繁，也會影響數據采集器的采集性能，降低了系統整體的處理能力。

現有的另一種分布式數據查詢系統的原始日志數據采用集中式存儲，每個數據采集器只負責日志的采集（接收、格式化、歸并）、上報，日志內容在數據采集器處理之后并不在本地保存，而是上報到數據查詢服務器去存儲。數據查詢服務器在收到數據采集器上報的日志之后，集中存儲到數據庫中，并建立索引，需要對日志查詢的時候直接到數據查詢服務器的數據庫中查詢就可以。這種數據集中存儲的方式，使日志的查詢操作僅限于在數據查詢服務器的數據庫中執行，不會影響到數據采集器。然而，由于日志數據集中存放在數據查詢服務器的數據庫中，數據采集器需要上報大量的日志數據，一方面使數據查詢服務器的負荷大大增加，另一方面也大量消耗了數據采集器和數據查詢服務器之間的帶寬，這樣也就限制了一臺數據查詢服務器可以帶的數據采集器的數量，整個系統的處理能力不可能很高。

發明內容

本發明提供了一種數據查詢方法、數據查詢服務器、數據采集器及數據查詢系統，能夠提高數據查詢的處理速度，減輕數據采集器的系統資源占用和數據查詢服務器的負荷壓力，提升整個系統的處理能力。

為實現上述目的，本發明第一方面提供了一種數據查詢方法，所述方法包括：

接收輸入的查詢請求，所述查詢請求中攜帶所要查詢的字段和所述字段中的查詢詞；

從所述字段對應的集中索引表中查詢得到所述查詢詞對應的采集器標識，所述集中索引表中存儲所述字段中的查詢詞與采集器標識的對應關系；

根據所述查詢請求生成攜帶有所述字段和查詢詞的查詢命令，并將所述查詢命令發送給所述采集器標識對應的數據采集器，用以所述數據采集器在所述數據采集器中所述查詢命令攜帶的字段對應的本地索引表中，查詢得到與所述查詢命令中攜帶的查詢詞相匹配的數據；

接收所述數據采集器返回的所述數據，根據接收到的數據形成所述查詢請求的查詢結果并輸出。

結合第一方面，在第一方面的第一種可能的實施方式中，所述從所述字段對應的集中索引表中查詢得到所述查詢詞對應的采集器標識之前，還包括：

針對所述字段，建立所述字段對應的集中索引表；

所述建立所述字段對應的集中索引表，包括：

接收各數據采集器發送的所述字段的上報索引表，所述上報索引表中包括發送所述上報索引表的數據采集器中的數據對應于所述字段的查詢詞；

在所述字段的集中索引表中，存儲數據采集器的標識與所述數據采集器上報的上報索引表中該字段的查詢詞的對應關系。

結合第一方面，在第一方面的第二種可能的實施方式中，所述從所述字段對應的集中索引表中查詢得到所述查詢詞對應的采集器標識，包括：

若所述查詢請求中攜帶至少兩個所要查詢的字段，獲取所述查詢請求中各字段的查詢詞，并記錄所述各字段的查詢詞之間的邏輯關系；

從所述各字段對應的集中索引表中查詢得到所述各字段的查詢詞對應的采集器標識；

根據所述各字段的查詢詞之間的邏輯關系，從查詢得到的所述采集器標識中篩選得到滿足所述邏輯關系的采集器標識。

第二方面，本發明還提供了一種數據查詢方法，所述方法包括：