[發明專利]基于REPL的數據開發方法、系統和電子設備

有效

• 申請號: 202011643363.9
• 申請日: 2020-12-31
• 公開（公告）號: CN112765128B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 任亮;傅雨梅;李孟
• 申請（專利權）人: 北京知因智慧科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2453;G06F16/28
• 代理公司: 北京超凡宏宇知識產權代理有限公司 11463
• 代理人: 張萌

本發明提供了一種基于REPL的數據開發方法、系統和電子設備，涉及計算機軟件技術領域，該方法包括：基于用戶的數據開發操作生成第一腳本，第一腳本包括若干個第一子腳本，每個第一子腳本用于執行一項任務；基于REPL解析該第一腳本，確定每個第一子腳本對應的執行引擎，并請求生成相應的引擎實例；基于生成的多個引擎實例，控制多個執行引擎異步執行第一子腳本，其中，第一子腳本與大數據集群模塊連接，以實現數據開發請求對應的任務。通過上述方法可以把多個任務同時分發到不同的引擎執行，能夠緩解現有的數據開發技術中存在的執行速度慢、效率低的技術問題，從而到達快速實現數據開發需求的效果。

技術領域

本發明涉及計算機軟件技術領域，尤其是涉及一種基于REPL的數據開發方法、系統和電子設備。

背景技術

大數據應用已成為行業熱點和產業發展新增長點，數據科學與計算技術也是計算機的前沿領域，大數據計算分析為其提供了核心的技術支撐。隨著大數據計算技術突飛猛進地發展。在面向企業的數據產品中，用戶在啟動需求之前往往需要做數據探查，通常需要開發人員把數據從來源端經過抽取(extract)、轉換(transform)、加載(load)等過程在目的端呈現后，才能由其他需要了解數據的人員(如，產品經理、數據分析師等)進行查看。

現有的數據開發一般通過以下方法實現：通過結構化查詢語言(StructuredQuery Language，SQL)查詢數據倉庫工具(Hive)的數據。該方法不僅需要運維人員在服務器端打開Hive的命令行界面進行操作，而且任務只能由單個引擎執行，Hive對應的計算引擎速度較慢。因此，現有的數據開發技術存在速度慢、效率低的問題。

發明內容

本發明的目的在于提供一種基于REPL的數據開發方法、系統和電子設備，以緩解現有的數據開發技術存在的速度慢、效率低的技術問題。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種基于REPL的數據開發方法，應用于基于REPL的數據開發系統，其中，所述數據開發系統包括多個執行引擎，所述方法該方法包括：

基于用戶的數據開發操作生成第一腳本；所述第一腳本包括若干個第一子腳本，每個所述第一子腳本用于執行一項任務；

基于REPL解析所述第一腳本，確定每個所述第一子腳本對應的執行引擎，并請求生成相應的引擎實例；

基于生成的多個引擎實例，控制多個執行引擎異步執行所述第一子腳本；所述第一子腳本與大數據集群模塊連接，以實現數據開發請求對應的任務。

在一些可能的實施方式中，該方法還包括：查詢登錄的用戶信息，驗證所述用戶的權限。

在一些可能的實施方式中，該方法還包括：驗證所述第一腳本是否存在異常；當所述第一腳本不存在異常時，執行基于REPL解析所述第一腳本，確定每個所述第一子腳本對應的執行引擎，并請求生成相應的引擎實例的步驟。

在一些可能的實施方式中，驗證所述第一腳本是否存在異常的步驟，包括：如果所述第一腳本為單進程，則所述第一腳本存在異常；如果所述第一腳本為異步多進程，則所述第一腳本不存在異常。

在一些可能的實施方式中，該方法還包括：控制臺顯示所述數據開發請求對應的任務的進程和執行結果；其中，所述數據開發請求對應的任務包括數據查詢。

第二方面，本發明實施例提供了一種基于REPL的數據開發系統，該系統包括：交互模塊、引擎服務模塊和大數據集群模塊；

所述交互模塊包括腳本編寫單元，所述腳本編寫單元用于基于用戶的數據開發操作生成第一腳本；所述第一腳本包括若干個第一子腳本，每個所述第一子腳本用于執行一項任務；

所述引擎服務模塊用于基于REPL解析所述第一腳本，確定每個所述第一子腳本對應的執行引擎，并請求生成相應的引擎實例；