[發明專利]數據平臺、數據處理方法及電子設備

有效

• 申請號: 201910986024.1
• 申請日: 2019-10-16
• 公開（公告）號: CN111061756B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 桂朝;閆嘉;張巖;何亞川;馮麗君;張曉潔;李士光;雷天宇;張鵬
• 申請（專利權）人: 智慧足跡數據科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/25;G06F16/26;G06F16/28
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

1.一種數據平臺，其特征在于，包括：前臺、中臺和后臺；其中，所述前臺為基于Web技術搭建的SaaS式數據智能應用平臺，所述中臺為基于Java Spring技術框架搭建的網關程序，所述后臺為Hadoop大數據集群；所述數據平臺支持自定義編寫SQL語句建模和內置參數化SQL模型建模；

所述前臺包括模型展示模塊、模型選擇模塊、參數獲取模塊、模型實例化模塊；所述后臺包括運算模塊和輸出模塊；

所述模型展示模塊，用于顯示數據分析模型的展示頁面；所述數據分析模型通過SQL腳本實現；

所述模型選擇模塊，用于當接收到任一所述數據分析模型的選中指令時，調用被選中數據分析模型對應的SQL腳本；

所述參數獲取模塊，用于獲取所述被選中數據分析模型的參數信息；

所述模型實例化模塊，用于根據所述參數信息實例化所述被選中數據分析模型對應的SQL腳本，得到可執行SQL腳本；

所述運算模塊，用于運算所述可執行SQL腳本，得到結果數據表；

所述輸出模塊，用于輸出所述結果數據表。

2.根據權利要求1所述的數據平臺，其特征在于，所述模型展示模塊包括：

模型超市展示單元，用于在所述展示頁面中顯示多種業務類型的數據分析模型；

執行頁面展示單元，用于顯示所述數據分析模型被執行時的參數信息。

3.根據權利要求1所述的數據平臺，其特征在于，所述模型實例化模塊還用于：

根據所述參數信息，通過Java程序實例化所述被選中數據分析模型對應的SQL腳本，得到可執行SQL腳本。

4.根據權利要求1所述的數據平臺，其特征在于，所述運算模塊還用于：

通過Spark JDBC將所述可執行SQL腳本提交到Hadoop大數據集群的yarn隊列上進行運算，以得到結果數據表。

5.根據權利要求1所述的數據平臺，其特征在于，所述數據平臺還包括：校驗模塊；

所述校驗模塊用于對所述可執行SQL腳本的語法規則和合法性進行校驗；

所述校驗模塊還用于對所述結果數據表的內容進行合法性校驗。

6.根據權利要求1所述的數據平臺，其特征在于，所述數據平臺還包括：表盤繪制模塊；

所述表盤繪制模塊用于讀取預設的表盤配置參數，并根據所述表盤配置參數生成實例化表盤的數據及渲染配置參數；

根據所述實例化表盤的數據及所述渲染配置參數繪制表盤。

7.根據權利要求1所述的數據平臺，其特征在于，所述數據平臺還包括：模型管理模塊；

所述模型管理模塊用于對所述數據分析模型進行編輯操作，所述編輯操作包括添加模型、刪除模型或更新模型。

8.一種數據處理方法，其特征在于，所述方法基于權利要求1～7中任一項所述數據平臺實現，所述方法包括：

顯示數據分析模型的展示頁面；所述數據分析模型通過SQL腳本實現；

當接收到任一所述數據分析模型的選中指令時，調用被選中數據分析模型對應的SQL腳本；

獲取所述被選中數據分析模型的參數信息；

根據所述參數信息實例化所述被選中數據分析模型對應的SQL腳本，得到可執行SQL腳本；

運算所述可執行SQL腳本，得到結果數據表；

輸出所述結果數據表。

9.根據權利要求8所述的數據處理方法，其特征在于，在所述輸出所述結果數據表的步驟之后，還包括：

讀取預設的表盤配置參數；

根據所述表盤配置參數生成實例化表盤的數據及渲染配置參數；

根據所述實例化表盤的數據及所述渲染配置參數繪制表盤。

10.一種電子設備，包括存儲器、處理器，所述存儲器中存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現上述權利要求8至9任一項所述的數據處理方法的步驟。