[發明專利]一種數據處理的方法及裝置

有效

• 申請號: 202010051880.0
• 申請日: 2020-01-17
• 公開（公告）號: CN111274269B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 曾文清;鄒易
• 申請（專利權）人: 廣州至真信息科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/25;G06F16/242
• 代理公司: 廣州佳睿知識產權代理事務所(普通合伙) 44610
• 代理人: 徐燕萍;朱彩銀

本申請涉及一種數據處理的方法及裝置，其中所述方法包括：將待解析的結構化查詢語言SQL語句或者非SQL語句，轉化成對應的數據模型，其中，所述數據模型包括指定的指標信息、維度信息、鏈表信息以及功能配置信息；執行所述數據模型，以實現所述功能配置信息對應的功能。本實施例相比于直接執行SQL語句，執行模型可以應用的場景更多，使用領域更廣。

技術領域

本申請涉及數據庫技術領域，尤其涉及一種數據處理的方法及裝置。

背景技術

隨著信息化快速發展，數據庫的應用越來越普遍。SQL(Structured?QueryLanguage，結構化查詢語言)是專為數據庫而建立的操作命令集，其用于存取數據以及查詢、更新和管理關系數據庫系統。它不要求用戶指定對數據的存放方法，也不需要用戶了解具體的數據存放方式，所以具有不同底層結構的數據庫系統可以使用相同的SQL查詢語句作為數據輸入與管理的接口。

但是，傳統的SQL查詢語句在面臨大數據量實時查詢任務或者跨庫查詢任務時，存在明顯的效率缺陷，適用場景也較為有限。

發明內容

鑒于上述問題，提出了本申請以便提供一種克服上述問題或者至少部分地解決上述問題的一種數據處理的方法及裝置。

第一方面，本申請提供了一種數據處理的方法，所述方法包括：

將待解析的結構化查詢語言SQL語句或者非SQL語句，轉化成對應的數據模型，其中，所述數據模型包括指定的指標信息、維度信息、鏈表信息以及功能配置信息；

執行所述數據模型，以實現所述功能配置信息對應的功能。

可選地，所述將待解析的結構化查詢語言SQL語句或者非SQL語句，轉化成對應的數據模型，包括：

接收用戶輸入或配置的SQL語句或者非SQL語句，作為待解析的SQL語句或者非SQL語句；

提取所述SQL語句或者非SQL語句中的目標特征信息，所述目標特征信息包括指標信息、維度信息、鏈表信息；

采用預設的模型生成方法，根據所述目標特征信息生成對應的數據模型。

可選地，所述功能包括：跨庫查詢功能；所述數據模型包括第一數據模型以及第二數據模型；

所述執行所述數據模型，以實現所述功能配置信息對應的功能，包括：

執行所述第一數據模型，獲取所述第一數據模型在對應的第一數據庫中查詢的第一查詢結果；

執行所述第二數據模型，獲取所述第二數據模型在對應的第二數據庫中查詢的第二查詢結果；

根據所述第一數據模型的維度信息與所述第二數據模型的維度信息，確定所述第一數據模型與所述第二數據模型之間的關聯維度；

基于所述關聯維度，將所述第一查詢結果與所述第二查詢結果進行拼接，獲得最終的查詢結果。

可選地，所述根據所述第一數據模型的維度信息與所述第二數據模型的維度信息，確定所述第一數據模型與所述第二數據模型之間的關聯維度，包括：

將所述第一數據模型的維度信息與所述第二數據模型的維度信息中相同的維度信息作為關聯維度；

或者，

將所述第一數據模型的維度信息與所述第二數據模型的維度信息中用戶指定的維度信息作為關聯維度。

可選地，所述功能包括：ETL過程監控功能；所述數據模型包括各ETL步驟對應的第三數據模型；

所述執行所述數據模型，以實現所述功能配置信息對應的功能，包括：

執行所述第三數據模型，以監控對應ETL步驟的數據；