[發明專利]數據聯機分析方法、系統、客戶端及服務端

在審

• 申請號: 202210041502.3
• 申請日: 2022-01-14
• 公開（公告）號: CN114385669A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 劉博;張同虎;李登宇
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 楊丹;沈珍珠

本發明公開了一種數據聯機分析方法、系統、客戶端及服務端，其中該方法包括：客戶端接收用戶輸入的查詢條件；根據用戶輸入的查詢條件，以及預先配置的查詢條件與SQL語句的關系生成SQL語句；服務端根據SQL語句創建AST對象；根據AST對象創建查詢的執行管道，該執行管道包括聯機分析處理數據庫中多個待查詢數據塊標識；根據多個待查詢數據塊標識，從聯機分析處理數據庫中匹配出多個待查詢數據塊，從每一待查詢數據塊中讀取查詢結果，根據多個查詢結果形成聯機分析結果；將聯機分析結果發送至客戶端。本發明無需數據預處理，只需根據用戶靈活配置的查詢條件匹配對應的數據塊即可高效地在海量的報文數據中分析得到實時聯機分析結果。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種數據聯機分析方法、系統、客戶端及服務端。

背景技術

隨著金融領域報文數據量的指數級增長，傳統的聯機分析系統在存儲大量報文數據時，預處理效率極其低下，且隨著業務需求的變化，數據分析需求也越來越多，需要分析人員不斷增加預處理任務才可滿足需求，預處理較為復雜，無法得到實時聯機分析的結果。

發明內容

本發明實施例提供一種數據聯機分析方法，用以無需數據預處理，只需根據用戶靈活配置的查詢條件匹配對應的數據塊即可高效地在海量的報文數據中分析得到實時聯機分析結果，該方法包括：

客戶端接收用戶輸入的查詢條件；根據用戶輸入的查詢條件，以及預先配置的查詢條件與SQL語句之間的關系，生成用戶輸入的查詢條件對應的SQL語句；將用戶輸入的查詢條件對應的SQL語句發送至服務端；

服務端根據所述SQL語句，創建抽象語法樹AST對象；根據AST對象，創建查詢的執行管道，所述查詢的執行管道包括聯機分析處理數據庫中多個待查詢數據塊標識；根據多個待查詢數據塊標識，從聯機分析處理數據庫中匹配出對應的多個待查詢數據塊，從每一待查詢數據塊中讀取查詢結果，根據每一待查詢數據塊的查詢結果形成聯機分析結果；將所述聯機分析結果發送至客戶端。

本發明實施例提供一種數據聯機分析方法，用以無需數據預處理，只需根據用戶靈活配置的查詢條件匹配對應的數據塊即可高效地在海量的報文數據中分析得到實時聯機分析結果，該方法包括：

接收用戶輸入的查詢條件；

根據用戶輸入的查詢條件，以及預先配置的查詢條件與SQL語句之間的關系，生成用戶輸入的查詢條件對應的SQL語句；

將用戶輸入的查詢條件對應的SQL語句發送至服務端；

接收根據用戶輸入的查詢條件對應的SQL語句反饋的聯機分析結果。

本發明實施例提供一種數據聯機分析方法，用以無需數據預處理，只需根據用戶靈活配置的查詢條件匹配對應的數據塊即可高效地在海量的報文數據中分析得到實時聯機分析結果，該方法包括：

接收用戶輸入的查詢條件對應的SQL語句；

根據所述用戶輸入的查詢條件對應的SQL語句，創建抽象語法樹AST對象；

根據AST對象，創建查詢的執行管道，所述查詢的執行管道包括聯機分析處理數據庫中多個待查詢數據塊標識；

根據多個待查詢數據塊標識，從聯機分析處理數據庫中匹配出對應的多個待查詢數據塊，從每一待查詢數據塊中讀取查詢結果，根據每一待查詢數據塊的查詢結果形成聯機分析結果；

將所述聯機分析結果發送至客戶端。

本發明實施例提供一種數據聯機分析系統，用以無需數據預處理，只需根據用戶靈活配置的查詢條件匹配對應的數據塊即可高效地在海量的報文數據中分析得到實時聯機分析結果，該系統包括：