[發(fā)明專利]一種數據處理的方法及裝置

有效

• 申請?zhí)枺?/td>: 202010051880.0
• 申請日: 2020-01-17
• 公開（公告）號: CN111274269B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設計）人: 曾文清;鄒易
• 申請（專利權）人: 廣州至真信息科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/25;G06F16/242
• 代理公司: 廣州佳睿知識產權代理事務所(普通合伙) 44610
• 代理人: 徐燕萍;朱彩銀

1.一種數據處理的方法，其特征在于，所述方法包括：

將待解析的結構化查詢語言SQL語句或者非SQL語句，轉化成對應的數據模型，其中，所述數據模型包括指定的指標信息、維度信息、鏈表信息以及功能配置信息；

執(zhí)行所述數據模型，以實現所述功能配置信息對應的功能；

所述功能包括：跨庫查詢功能；所述數據模型包括第一數據模型以及第二數據模型；

所述執(zhí)行所述數據模型，以實現所述功能配置信息對應的功能，包括：

執(zhí)行所述第一數據模型，獲取所述第一數據模型在對應的第一數據庫中查詢的第一查詢結果；

執(zhí)行所述第二數據模型，獲取所述第二數據模型在對應的第二數據庫中查詢的第二查詢結果；

根據所述第一數據模型的維度信息與所述第二數據模型的維度信息，確定所述第一數據模型與所述第二數據模型之間的關聯維度；

基于所述關聯維度，將所述第一查詢結果與所述第二查詢結果進行拼接，獲得最終的查詢結果。

2.根據權利要求1所述的方法，其特征在于，所述將待解析的結構化查詢語言SQL語句或者非SQL語句，轉化成對應的數據模型，包括：

接收用戶輸入或配置的SQL語句或者非SQL語句，作為待解析的SQL語句或者非SQL語句；

提取所述SQL語句或者非SQL語句中的目標特征信息，所述目標特征信息包括指標信息、維度信息、鏈表信息；

采用預設的模型生成方法，根據所述目標特征信息生成對應的數據模型。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一數據模型的維度信息與所述第二數據模型的維度信息，確定所述第一數據模型與所述第二數據模型之間的關聯維度，包括：

將所述第一數據模型的維度信息與所述第二數據模型的維度信息中相同的維度信息作為關聯維度；

或者，

將所述第一數據模型的維度信息與所述第二數據模型的維度信息中用戶指定的維度信息作為關聯維度。

4.根據權利要求1或2所述的方法，其特征在于，所述功能包括：ETL過程監(jiān)控功能；所述數據模型包括各ETL步驟對應的第三數據模型；

所述執(zhí)行所述數據模型，以實現所述功能配置信息對應的功能，包括：

執(zhí)行所述第三數據模型，以監(jiān)控對應ETL步驟的數據；

當監(jiān)控到所述數據符合預設規(guī)則時，則執(zhí)行預設操作，所述預設操作包括：報警、生成數據報表。

5.根據權利要求1或2所述的方法，其特征在于，所述功能包括：數據打標功能；

所述執(zhí)行所述數據模型，以實現所述功能配置信息對應的功能，包括：

把所述數據模型嵌入到kafka的連接器中，所述連接器用于在初始化創(chuàng)建任務的時候初始化所述數據模型，所述數據模型在初始化后添加了打標的方法，用于對指定字段進行打標。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

展示配置界面；

確定用戶在所述配置界面中選定的模型標識、指標標識或維度標識、以及選擇的條件；

根據模型標識確定對應的目標模型，并在所述目標模型中查找所述指標標識或維度標識；

根據查找結果以及所述條件，拼接SQL語句。