[發明專利]一種數據查詢方法及系統

有效

• 申請號: 201611248518.2
• 申請日: 2016-12-29
• 公開（公告）號: CN106649828B
• 公開（公告）日: 2019-12-24
• 發明（設計）人: 禹熹;周繼恩;馮興;王穎卓;方亞超;葉煒
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2453
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 黃志華

本發明實施例公開了一種數據查詢方法及系統，包括：接收業務系統發送的查詢請求消息，根據待查詢數據記錄的查詢信息，以及查詢信息與數據引擎的對應關系，確定出與待查詢數據記錄對應的目標數據引擎，進而查詢目標數據引擎中的數據記錄，得到待查詢數據記錄。由于數據記錄的查詢信息包括數據記錄的查詢并發量和查詢條件數量，且查詢信息與數據引擎具有對應關系，可見，查詢并發量和查詢條件數量不同的數據記錄可對應不同的數據引擎。因而，根據查詢信息與數據引擎之間的對應關系確定出待查詢數據記錄的目標數據引擎，再通過確定出的目標數據引擎，查詢其中的數據記錄，可充分利用不同數據引擎的優勢，從而有效提高數據查詢的效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據查詢方法及系統。

背景技術

隨著大數據時代的到來，各業務系統中的數據量日趨龐大，大數據的查詢應用變得越來越普遍。由于查詢效率直接影響查詢系統的響應時間，面對日益增長的海量數據，如何實現高效、準確、實時的數據查詢已成為業界亟待解決的重要問題。

目前，各業務系統中通常采用關系型數據庫來存儲業務數據，但是關系型數據庫橫向擴展能力差，擴容的成本高，而且很難做分布式擴展。當數據庫中存儲海量數據時，會出現由于數據庫占用資源過多，而使得進行數據查詢時，數據庫的響應較慢、讀寫訪問性能較差。

為了解決這個問題，現有技術中，可通過對數據庫進行分區，將數據切分到不同的庫和不同的表中，以避免數據庫的單個表中存儲過多的數據。然而，即使對數據庫進行了分區處理，由于在對數據進行寫入和讀取的時，需要處理復雜的分庫分表邏輯，當數據庫中存儲海量數據時，表的數量過多，仍然會使得數據庫的訪問性能變差，數據查詢的效率較低，而且使數據庫的管理和運維變得很復雜。

綜上，目前亟需一種數據查詢方法，以提高的數據查詢的效率。

發明內容

本發明提供一種數據查詢方法及系統，用于解決現有技術中數據庫的訪問性能較差，數據查詢效率較低的技術問題。

本發明實施例提供的一種數據查詢方法，包括：

接收業務系統發送的查詢請求消息，所述查詢請求消息包括待查詢數據記錄的查詢信息；所述待查詢數據記錄的查詢信息包括所述待查詢數據記錄對應的查詢并發量和查詢條件數量；

根據所述待查詢數據記錄的查詢并發量和查詢條件數量以及所述查詢信息和數據引擎的對應關系，確定與所述待查詢數據記錄的查詢信息對應的目標數據引擎；

查詢所述目標數據引擎中的數據記錄，得到所述待查詢數據記錄。

可選地，所述目標數據引擎中的數據記錄是通過以下方式導入的：

接收聯機系統發送的第N條數據記錄，并將所述第N條數據記錄存儲在數據緩沖區；

從所述數據緩沖區獲取所述第N條數據記錄以及所述第N條數據記錄的查詢信息；

根據所述第N條數據記錄的查詢信息，以及所述查詢信息和數據引擎的對應關系，將所述第N條數據記錄存儲到所述目標數據引擎中。

可選地，根據所述第N條數據記錄的查詢信息，以及所述查詢信息和數據引擎的對應關系，將所述第N條數據記錄存儲到所述目標數據引擎中，包括：

若所述第N條數據記錄的查詢信息為查詢并發量大于等于預設查詢并發量，且查詢條件數量小于等于預設查詢條件閾值，則根據所述查詢信息和數據引擎的對應關系，將Hbase數據引擎確定為所述目標數據引擎，并將所述第N條數據記錄存儲到Hbase數據引擎中；

若所述第N條數據記錄的查詢信息為查詢并發量小于預設查詢并發量，或查詢條件數量大于等于預設查詢條件閾值，則根據所述查詢信息和數據引擎的對應關系，將Impala數據引擎確定為所述目標數據引擎，并將所述第N條數據記錄存儲到Impala數據引擎中。