[發明專利]一種教育系統的用于Hive離線計算方法及電子設備

在審

• 申請號: 201811260901.9
• 申請日: 2018-10-26
• 公開（公告）號: CN109492057A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 李天馳;孫悅;涂桂朝
• 申請（專利權）人: 深圳點貓科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 李良

本發明公開了一種教育系統的用于Hive離線計算方法及電子設備，其中，所述方法包括步驟：A.讀取數據庫中的配置信息；B.對未創建的數據表按照模板生成SQL執行。所述的用于Hive離線計算方法，其中，所述數據庫中的配置信息包括數據庫的建表和分區配置信息，本發明所述方案能夠實現數據庫配置的自動建表和分區，可以大大節省開發成本，降低運行出錯概率。

技術領域

本發明涉及數據算法領域，尤其涉及一種教育系統的用于Hive離線計算方法及電子設備。

背景技術

在大數據離線計算場景中，通常需要用到Hive計算框架，Hive的優點在于面向開發人員的時SQL語句，而SQL底層會被轉化為MapReduce執行。在Hive計算過程中需要大量創建源數據表，并對數據表插入分區，在傳統的做法中一般是手動編寫所有建表和插入分區的SQL語句，這種做法浪費了大量的時間和人力成本，冗余代碼很多，代碼運行出錯概率大，不易排查。

因此，現有技術還有待于改進和發展。

發明內容

鑒于上述現有技術的不足，本發明的目的在于提供一種教育系統的用于Hive離線計算方法及電子設備，旨在解決快速建表和分區的問題。

本發明的技術方案如下：

一種教育系統的用于Hive離線計算方法，其中，包括步驟：

A.讀取數據庫中的配置信息；

B.對未創建的數據表按照模板生成SQL執行。

所述的用于Hive離線計算方法，其中，所述數據庫中的配置信息包括數據庫的建表和分區配置信息。

所述的用于Hive離線計算方法，其中，所述步驟A之前還包括：

接收用戶在UI頁面輸入的建表和分區字段信息的表單，生成配置插入數據庫中。

所述的用于Hive離線計算方法，其中，所述步驟B包括：

判斷數據表是否已創建，當已創建時，跳過配置信息；

當數據表未創建時，讀取模板信息；

將建表和分區字段信息插入模板中生成SQL執行。

所述的用于Hive離線計算方法，其中，所述將建表和分區字段信息插入模板中生成SQL執行的步驟中，對建表和分區字段信息進行校驗，判斷所述建表和分區字段信息是否違規，當違規時進行報錯。

一種電子設備，其中，包括：

包括處理器，適于實現各指令，以及

存儲設備，適于存儲多條指令，所述指令適于由處理器加載并執行：

讀取數據庫中的配置信息；

對未創建的數據表按照模板生成SQL執行。

所述的電子設備，其中，所述數據庫中的配置信息包括數據庫的建表和分區配置信息。

所述的電子設備，其中，所述處理器還用于加載并執行：

接收用戶在UI頁面輸入的建表和分區字段信息的表單，生成配置插入數據庫中。

所述的電子設備，其中，所述處理器還用于加載并執行：

判斷數據表是否已創建，當已創建時，跳過配置信息；

當數據表未創建時，讀取模板信息；

將建表和分區字段信息插入模板中生成SQL執行。