[發(fā)明專利]查詢數(shù)據的方法和數(shù)據查詢系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201610850631.1
• 申請日: 2016-09-26
• 公開（公告）號: CN107870924A
• 公開（公告）日: 2018-04-03
• 發(fā)明（設計）人: 黨李飛;崔鑫
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京龍雙利達知識產權代理有限公司11329
• 代理人: 魏雪嬌,毛威

技術領域

本申請涉及計算領域，并且更具體地，涉及一種查詢數(shù)據的方法和數(shù)據查詢系統(tǒng)。

背景技術

大型企業(yè)或大型組織通常會在不同的地理位置部署多個數(shù)據中心(DataCenter，DC)。例如，Hbase就是一種大數(shù)據場景中通用的分布式數(shù)據存儲集群，不同的集群會部署在地理上分散的多個數(shù)據中心中。Hbase的不同的集群通常會存儲不同的數(shù)據，數(shù)據采用鍵值(key-value)存儲方式。

用戶在使用Hbase時，通常會涉及到查詢多個數(shù)據中心的數(shù)據庫中的數(shù)據。目前用戶與Hbase通信時，主要依賴HbaseClient。一個HbaseClient一次只能連接一個Hbase集群。用戶如果需要訪問多個集群的數(shù)據，只能通過在HbaseClient中部署相應的應用程序，利用HbaseClient分別和特定的一個或多個集群通信。HbaseClient分別向不同的集群發(fā)起數(shù)據請求，完成數(shù)據的匯總和處理。

具體地，例如Hbase中包括兩個集群，每個集群中有兩張表，分別為Table_1和Table_2。每張表在不同的集群中具有完全相同的表結構，但是每張表在不同的集群中具有不同的數(shù)據內容。查詢數(shù)據時，HbaseClient根據查詢指令先到每個集群中分別查詢Table_1，獲取其中的中間結果content_1，將所有集群查詢到的content_1匯總到一起。而后，HbaseClient再根據匯總后的content_1到每個集群中分別查詢Table_2，得到最終的查詢結果。

在該過程中，Hbase跨數(shù)據中心對于用戶進行多表之間的關聯(lián)查詢時，會造成大量無效數(shù)據的傳輸，增大了集群中設備的負荷，并且HbaseClient需要和Hbase的不同集群進行多次交互才能得到最終的查詢結果，導致查詢響應慢。

發(fā)明內容

本申請?zhí)峁┮环N查詢數(shù)據的方法和數(shù)據查詢系統(tǒng)，坑容易提高數(shù)據存儲集群間的帶寬利用率，能夠提高查詢響應速度。

第一方面，提供了一種查詢數(shù)據的方法，所述方法由數(shù)據查詢系統(tǒng)執(zhí)行，所述數(shù)據查詢系統(tǒng)包括客戶端Client模塊和多個代理Agent模塊，所述多個Agent模塊中的每個Agent模塊對應一個數(shù)據存儲集群，其中，第一Agent模塊對應第一數(shù)據存儲集群，所述第一Agent模塊用于從所述第一數(shù)據存儲集群的數(shù)據庫中查詢數(shù)據，所述方法包括：所述Client模塊獲取序列化查詢指令集合，所述序列化查詢指令集合包括至少兩個查詢指令；所述第一Agent模塊根據所述序列化查詢指令集合，從所述第一數(shù)據存儲集群的數(shù)據庫中查詢數(shù)據，得到第一查詢結果；所述第一Agent模塊將所述第一查詢結果返回所述Client模塊。

第一方面的查詢數(shù)據的方法，通過增加Agent模塊，Client模塊獲取序列化查詢指令集合，并下發(fā)給Agent模塊，由Agent模塊在其所對應的數(shù)據存儲集群中執(zhí)行數(shù)據查詢，并將最終的查詢結果返回Client模塊，可以減少系統(tǒng)中無效數(shù)據的傳輸，提高數(shù)據存儲集群間的帶寬利用率，并且可以降低Client模塊和數(shù)據存儲集群間的交互次數(shù)，能夠提高查詢響應速度。

結合第一方面，在第一方面的第一種可能的實現(xiàn)方式中，所述序列化查詢指令集合包括N個查詢指令，所述N個查詢指令按照查詢的邏輯順序包括查詢指令1，…，查詢指令i，…，查詢指令N，其中，查詢指令i對應第一中間結果i，N大于或等于2，所述第一Agent模塊根據所述序列化查詢指令集合，從所述第一數(shù)據存儲集群的數(shù)據庫中查詢數(shù)據，得到第一查詢結果，包括：所述第一Agent模塊根據所述查詢指令1，從所述第一數(shù)據存儲集群的數(shù)據庫中查詢數(shù)據，得到第一中間結果1；所述第一Agent模塊將第一中間結果i-1作為所述查詢指令i的查詢條件，從所述第一數(shù)據存儲集群的數(shù)據庫中查詢數(shù)據，得到第一中間結果i，其中，i的取值為2，…，N，當i等于N時，將第一中間結果N作為所述第一查詢結果。第一種可能的實現(xiàn)方式可以適用于將第一中間結果i-1作為查詢指令i的查詢條件時，第一中間結果i也存儲在同一個數(shù)據存儲集群的情況。