[發明專利]一種數據查詢方法及裝置

有效

• 申請號: 201310498968.7
• 申請日: 2013-10-22
• 公開（公告）號: CN104572727B
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 謝東凱;胡凌云;陸小亮
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

本申請提出一種數據查詢方法及裝置。該方法包括：接收針對查詢數據的查詢請求；基于預定規則確定所述查詢數據對應的標識；根據所述標識從預先建立的過濾表中獲取所述查詢數據對應的過濾子表，其中所述過濾表包含多個過濾子表，所述過濾子表中包含數據庫中的一個或多個數據的摘要信息；提取所述查詢數據的摘要信息；將所述查詢數據的摘要信息與所述過濾子表中的摘要信息進行匹配；以及當所述查詢數據的摘要信息與所述過濾子表中的摘要信息相匹配時，從數據庫獲取所述查詢數據。本申請所提出的方案有效地提高了服務器性能、避免不必要的查詢資源和時間的耗費以及抵擋惡意的查詢訪問。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據查詢方法及裝置。

背景技術

在當今社會，隨著信息通信技術的發展，我們已離不開由網絡來發送/接收各種數據。這就需要服務器來處理巨大的數據量，也就是現階段人們最關注的大數據處理。那么，如何在大數據集合的數據庫中進行相關數據查詢已成為人們研究的熱點問題。

通常在例如電子郵箱賬號的查詢請求中，其賬號服務的每秒查詢速率（QPS，QueryPer Second）一般都比較高，并且還會接到大量針對不存在的賬號的查詢請求。比如，已經刪除的賬號或者一些猜測賬號的系統的攻擊性訪問。其中，已經存在的賬號可以通過網絡業務層的高速緩沖存儲器提高網絡服務的每秒查詢速率。但是，對于不存在的賬號查詢請求，其在網絡業務層是找不到的，必須要通過服務器的數據庫查詢后才能確認。因此，這類無效查詢訪問會增加網絡服務器的查詢、傳輸等壓力，從而影響用戶正常應用。

而現有技術中為解決網絡服務器查詢、傳輸等壓力和提高網絡服務器的性能，提出了一種解決方案，通過在集群服務器中設置布隆過濾器（bloomfilter）來減小網絡服務器查詢、傳輸數據等帶來的壓力。具體而言，現有技術中通過集群技術把多臺服務器集中成類似一臺服務器控制工作，從而提高其穩定性和數據快速處理能力。由于集群的存儲空間也是有限的，所以，當集群中的數據記錄比較多時，布隆過濾器占用的內存就會很大，甚至會超過服務器本身的內存。

因此，現有技術中提出了另一種解決方案，將一個大集群拆分成多個小集群，在小集群內部構建自己的布隆過濾器，并通過分發器把不同的查詢數據分發到對應的集群上。即，固定的用戶被固定的小集群服務。然而，采用這種方法當集群擴大時，用戶的數據要被重新分配，需要重構布隆過濾器，這樣一來就會增加整個服務器系統的應用成本。

發明內容

本發明的主要目的在于提供一種數據查詢方法及裝置，以解決現有技術存在的上述問題，其中：

根據本申請的一個方面的實施例，提出一種數據查詢方法，包括：接收針對查詢數據的查詢請求；基于預定規則確定所述查詢數據對應的標識；根據標識從預先建立的過濾表中獲取所述查詢數據對應的過濾子表，其中過濾表包含多個過濾子表，過濾子表中包含數據庫中的一個或多個數據的摘要信息；提取查詢數據的摘要信息；將查詢數據的摘要信息與過濾子表中的摘要信息進行匹配；以及當查詢數據的摘要信息與過濾子表中的摘要信息相匹配時，從數據庫獲取查詢數據。

根據本申請的另一方面的實施例，提出一種數據查詢裝置，包括：接收模塊，用于接收針對查詢數據的查詢請求；過濾模塊，用于基于預定規則確定查詢數據對應的標識；獲取模塊，用于根據標識從預先建立的過濾表中獲取查詢數據對應的過濾子表，其中過濾表包含多個過濾子表，過濾子表中包含數據庫中的一個或多個數據的摘要信息；提取模塊，用于提取查詢數據的摘要信息；匹配模塊，用于將查詢數據的摘要信息與過濾子表中的摘要信息進行匹配；以及查詢模塊，用于當查詢數據的摘要信息與過濾子表中的摘要信息相匹配時，從數據庫獲取查詢數據。