[發(fā)明專利]基于REPL的數(shù)據(jù)開發(fā)方法、系統(tǒng)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011643363.9
• 申請(qǐng)日: 2020-12-31
• 公開（公告）號(hào): CN112765128B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計(jì)）人: 任亮;傅雨梅;李孟
• 申請(qǐng)（專利權(quán)）人: 北京知因智慧科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/2453;G06F16/28
• 代理公司: 北京超凡宏宇知識(shí)產(chǎn)權(quán)代理有限公司 11463
• 代理人: 張萌

1.一種基于REPL的數(shù)據(jù)開發(fā)方法，其特征在于，應(yīng)用于基于REPL的數(shù)據(jù)開發(fā)系統(tǒng)，其中，所述數(shù)據(jù)開發(fā)系統(tǒng)包括多個(gè)執(zhí)行引擎，所述方法包括：

基于用戶的數(shù)據(jù)開發(fā)操作生成第一腳本；所述第一腳本包括若干個(gè)第一子腳本，每個(gè)所述第一子腳本用于執(zhí)行一項(xiàng)任務(wù)；

基于REPL解析所述第一腳本，確定每個(gè)所述第一子腳本對(duì)應(yīng)的執(zhí)行引擎，并請(qǐng)求生成相應(yīng)的引擎實(shí)例；

基于生成的多個(gè)引擎實(shí)例，控制所述多個(gè)執(zhí)行引擎異步執(zhí)行所述第一子腳本；所述第一子腳本與大數(shù)據(jù)集群模塊連接，以實(shí)現(xiàn)數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)。

2.根據(jù)權(quán)利要求1所述的基于REPL的數(shù)據(jù)開發(fā)方法，其特征在于，還包括：查詢登錄的用戶信息，驗(yàn)證所述用戶的權(quán)限。

3.根據(jù)權(quán)利要求1所述的基于REPL的數(shù)據(jù)開發(fā)方法，其特征在于，還包括：

驗(yàn)證所述第一腳本是否存在異常；

當(dāng)所述第一腳本不存在異常時(shí)，執(zhí)行基于REPL解析所述第一腳本，確定每個(gè)所述第一子腳本對(duì)應(yīng)的執(zhí)行引擎，并請(qǐng)求生成相應(yīng)的引擎實(shí)例的步驟。

4.根據(jù)權(quán)利要求3所述的基于REPL的數(shù)據(jù)開發(fā)方法，其特征在于，驗(yàn)證所述第一腳本是否存在異常的步驟，包括：

如果所述第一腳本為單進(jìn)程，則所述第一腳本存在異常；

如果所述第一腳本為異步多進(jìn)程，則所述第一腳本不存在異常。

5.根據(jù)權(quán)利要求1所述的基于REPL的數(shù)據(jù)開發(fā)方法，其特征在于，還包括：

控制臺(tái)顯示所述數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)的進(jìn)程和執(zhí)行結(jié)果；其中，所述數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)包括數(shù)據(jù)查詢。

6.一種基于REPL的數(shù)據(jù)開發(fā)系統(tǒng)，其特征在于，包括：交互模塊、引擎服務(wù)模塊和大數(shù)據(jù)集群模塊；

所述交互模塊包括腳本編寫單元，所述腳本編寫單元用于基于用戶的數(shù)據(jù)開發(fā)操作生成第一腳本；所述第一腳本包括若干個(gè)第一子腳本，每個(gè)所述第一子腳本用于執(zhí)行一項(xiàng)任務(wù)；

所述引擎服務(wù)模塊用于基于REPL解析所述第一腳本，確定每個(gè)所述第一子腳本對(duì)應(yīng)的執(zhí)行引擎，并請(qǐng)求生成相應(yīng)的引擎實(shí)例；

所述引擎服務(wù)模塊，還用于基于生成的多個(gè)引擎實(shí)例，控制所述多個(gè)執(zhí)行引擎異步執(zhí)行所述第一子腳本；所述第一子腳本與所述大數(shù)據(jù)集群模塊連接，以實(shí)現(xiàn)數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)。

7.根據(jù)權(quán)利要求6所述的基于REPL的數(shù)據(jù)開發(fā)系統(tǒng)，其特征在于，還包括：服務(wù)網(wǎng)關(guān)，所述服務(wù)網(wǎng)關(guān)用于查詢登錄的用戶信息，并驗(yàn)證所述用戶的權(quán)限。

8.根據(jù)權(quán)利要求6所述的基于REPL的數(shù)據(jù)開發(fā)系統(tǒng)，其特征在于，

所述交互模塊還包括：函數(shù)管理單元、工作空間管理單元、數(shù)據(jù)源管理單元和控制臺(tái)單元；

所述函數(shù)管理單元用于編寫函數(shù)以用于第一腳本；

所述工作空間管理單元用于存儲(chǔ)編寫好的腳本和函數(shù)；

所述數(shù)據(jù)源管理單元用于添加和管理數(shù)據(jù)源；

所述控制臺(tái)單元用于顯示所述數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)的進(jìn)程和執(zhí)行結(jié)果；其中，所述數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)包括數(shù)據(jù)查詢。

9.根據(jù)權(quán)利要求6所述的基于REPL的數(shù)據(jù)開發(fā)系統(tǒng)，其特征在于，所述引擎服務(wù)模塊包括：引擎請(qǐng)求模塊、引擎管理模塊、執(zhí)行模塊；

所述引擎請(qǐng)求模塊，用于接收所述數(shù)據(jù)開發(fā)請(qǐng)求，確定所述第一腳本的類型；

所述引擎請(qǐng)求模塊，還用于驗(yàn)證所述第一腳本的類型所對(duì)應(yīng)的第一引擎是否存在，如果所述第一引擎存在，則將所述第一引擎和所述第一腳本發(fā)送至引擎管理模塊；

所述引擎管理模塊，用于基于REPL解析所述第一腳本，確定每個(gè)所述第一子腳本對(duì)應(yīng)的執(zhí)行引擎，并請(qǐng)求生成相應(yīng)的引擎實(shí)例；

所述執(zhí)行模塊，用于基于生成的多個(gè)引擎實(shí)例，控制多個(gè)執(zhí)行引擎異步執(zhí)行所述第一子腳本；所述第一子腳本與大數(shù)據(jù)集群模塊連接，以實(shí)現(xiàn)數(shù)據(jù)開發(fā)請(qǐng)求對(duì)應(yīng)的任務(wù)。

10.一種電子設(shè)備，包括存儲(chǔ)器、處理器，所述存儲(chǔ)器中存儲(chǔ)有可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1至5任一項(xiàng)所述的方法的步驟。