[發明專利]一種跨數據源的SQL編譯裝置及方法

有效

• 申請號: 201811294111.2
• 申請日: 2018-10-31
• 公開（公告）號: CN109408580B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 劉鈺;孫偉;殷宏亮;宋德龍;趙丹;高體偉
• 申請（專利權）人: 北京百分點信息科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/242;G06F8/41;G06F8/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 劉昕;南霆

本發明公開了一種跨數據源的SQL編譯裝置及方法，裝置主要包括JSON生成模塊、SQL編譯工具、最終查詢SQL生成模塊、SQL提交模塊和請求緩存實現模塊等。本發明通過JSON封裝查詢條件，解析此條件并形成SQL提交給PRESTODB，可以實現多種場景(條件)的實時查詢功能。

技術領域

本發明涉及大數據技術領域，具體涉及一種基于PRESTODB的跨數據源的SQL編譯裝置及方法，特別適用于任意組合的、包含用戶行為和用戶畫像的條件場景。

背景技術

PRESTODB是一個分布式的實時計算引擎，主要應用于大數據領域的實時計算分析需求，在ETL、數據分析、實時查詢等方面具備卓越的能力，同時還支持多數據源聯合查詢以及靈活的自定義連接器功能，可以通過自定義的連接器實現對不同數據源的對接，因具備以上優點，PRESTODB被廣泛應用于大數據OLAP分析中。目前還缺乏一種基于PRESTODB的SQL編譯裝置及方法。

發明內容

針對現有技術的不足，本發明旨在提供一種跨數據源的SQL編譯裝置及方法，通過JSON封裝查詢條件，解析此條件并形成SQL提交給PRESTODB，可以利用PRESTODB的優勢實現多種場景(條件)的實時查詢功能。

一種跨數據源的SQL編譯裝置，包括：

JSON查詢條件生成模塊：用于生成JSON結構的查詢條件；

SQL編譯工具：用于JSON查詢條件生成模塊生成的查詢條件進行解析形成查詢SQL；

SQL提交模塊：用于將查詢SQL提交至PRESTODB集群，PRESTODB執行查詢SQL得到查詢結果封裝成對象返回。

進一步地，所述JSON查詢條件生成模塊生成JSON結構的用戶群表達式，所述查詢條件封裝在所述用戶群表達式中；

所述用戶群表達式包括有字段group_id、entity_english_name、type、prev_group_expression、group_expression，其中：

group_id用于記錄所要查詢的目標用戶群的id；

entity_english_name用于記錄實體的名稱，通過實體的名稱獲取要查詢的表名；

type用于記錄所要查詢的目標用戶群的類型；

group_expression用于封裝通過對group_id、entity_english_name、type三個字段的設定而自由組合得到的查詢條件；SQL編譯工具對group_expression解析得到類SQL；

prev_group_expression用于記錄前置用戶群的用戶群表達式；所述前置用戶群即為當前所要查詢的目標用戶群所依賴的用戶群，前置用戶群的用戶群表達式為JSON結構，同樣包括字段group_id、entity_english_name、type、prev_group_expression、group_expression；SQL編譯工具對前置用戶群的表達式的group_expression進行解析得到前置用戶群查詢SQL；

所述跨數據源的SQL編譯裝置還包括有最終查詢SQL生成模塊，所述最終查詢SQL生成模塊用于SQL編譯工具得到的類SQL和前置用戶群查詢SQL取交集，得到最終的查詢SQL；所述SQL提交模塊所提交的查詢SQL為所述最終查詢SQL生成模塊得到的最終的查詢SQL。

更進一步地，所述用戶群的類型一共分為9大類，分別為所有用戶群all、普通用戶群common、特別關注用戶群special、報表用戶群report、外接用戶群input、漏斗用戶群funnel、漏斗流出用戶群funnel_lost、決策樹用戶群decision、生命旅程用戶群life。