[發(fā)明專利]基于計算引擎應(yīng)用的數(shù)據(jù)處理方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202111502844.2
• 申請日: 2021-12-09
• 公開（公告）號: CN114398159A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計）人: 陳偉均
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F8/65
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

1.一種基于計算引擎應(yīng)用的數(shù)據(jù)處理方法，包括：

響應(yīng)于第一計算引擎Spark應(yīng)用的當(dāng)前狀態(tài)滿足預(yù)設(shè)的創(chuàng)建應(yīng)用觸發(fā)條件，建立第二Spark應(yīng)用；

響應(yīng)于所述第二Spark應(yīng)用滿足數(shù)據(jù)處理條件，控制第一Spark應(yīng)用停止處理數(shù)據(jù)，并確定所述第一Spark應(yīng)用記錄的當(dāng)前處理數(shù)據(jù)的第一訂閱點信息；

控制所述第二Spark應(yīng)用基于所述第一訂閱點信息開始處理數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述建立第二Spark應(yīng)用，包括：

基于所述第一Spark應(yīng)用的當(dāng)前狀態(tài)，確定創(chuàng)建Spark應(yīng)用所需參數(shù)；

基于所述創(chuàng)建Spark應(yīng)用所需參數(shù)，建立第二Spark應(yīng)用。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述控制第一Spark應(yīng)用停止處理數(shù)據(jù)，包括：

控制第一訂閱開關(guān)的狀態(tài)切換為關(guān)閉狀態(tài)，所述關(guān)閉狀態(tài)用于指示所述第一Spark應(yīng)用停止處理數(shù)據(jù)；

其中，所述第一訂閱開關(guān)為建立所述第一Spark應(yīng)用時所創(chuàng)建的開關(guān)。

4.根據(jù)權(quán)利要3所述的方法，還包括：

創(chuàng)建所述第二Spark應(yīng)用的第二訂閱開關(guān)；

其中，所述控制所述第二Spark應(yīng)用基于所述第一訂閱點信息開始處理數(shù)據(jù)，包括：

控制所述第二訂閱開關(guān)的狀態(tài)切換為打開狀態(tài)，所述打開狀態(tài)用于指示第二Spark應(yīng)用基于所述第一訂閱點信息開始處理數(shù)據(jù)。

5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其中，所述第一計算引擎Spark應(yīng)用的當(dāng)前狀態(tài)滿足預(yù)設(shè)的創(chuàng)建應(yīng)用觸發(fā)條件包括以下項中的任意一項：

所述第一Spark應(yīng)用的當(dāng)前處理性能滿足第一算力擴(kuò)容條件；

所述第一Spark應(yīng)用的當(dāng)前處理性能滿足第一算力縮容條件；

所述第一Spark應(yīng)用當(dāng)前滿足更新條件。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述第一Spark應(yīng)用的當(dāng)前狀態(tài)滿足預(yù)設(shè)的創(chuàng)建應(yīng)用觸發(fā)條件為所述第一Spark應(yīng)用的當(dāng)前處理性能滿足第一算力擴(kuò)容條件；所述方法還包括：

保留所述第一Spark應(yīng)用；

響應(yīng)于所述第二Spark應(yīng)用的當(dāng)前處理性能滿足第二算力縮容條件，控制所述第二Spark應(yīng)用停止處理數(shù)據(jù)，并確定所述第二Spark應(yīng)用記錄的當(dāng)前處理數(shù)據(jù)的第二訂閱點信息；

控制所述第一Spark應(yīng)用基于所述第二訂閱點信息開始處理數(shù)據(jù)。

7.根據(jù)權(quán)利要求5所述的方法，其中，所述第一Spark應(yīng)用的當(dāng)前狀態(tài)滿足預(yù)設(shè)的創(chuàng)建應(yīng)用觸發(fā)條件為所述第一Spark應(yīng)用的當(dāng)前處理性能滿足第一算力縮容條件；所述方法還包括：

保留所述第一Spark應(yīng)用；

響應(yīng)于所述第二Spark應(yīng)用的當(dāng)前處理性能滿足第二算力擴(kuò)容條件，控制所述第二Spark應(yīng)用停止處理數(shù)據(jù)，并確定所述第二Spark應(yīng)用記錄的當(dāng)前處理數(shù)據(jù)的第三訂閱點信息；

控制所述第一Spark應(yīng)用基于所述第三訂閱點信息開始處理數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的方法，還包括：

刪除所述第一Spark應(yīng)用。

9.一種基于計算引擎應(yīng)用的數(shù)據(jù)處理裝置，包括：

建立模塊，響應(yīng)于第一計算引擎Spark應(yīng)用的當(dāng)前狀態(tài)滿足預(yù)設(shè)的創(chuàng)建應(yīng)用觸發(fā)條件，用于建立第二Spark應(yīng)用；

控制模塊，響應(yīng)于所述第二Spark應(yīng)用滿足數(shù)據(jù)處理條件，用于控制第一Spark應(yīng)用停止處理數(shù)據(jù)；

確定模塊，用于確定所述第一Spark應(yīng)用記錄的當(dāng)前處理數(shù)據(jù)的第一訂閱點信息；

其中，所述控制模塊，還用于控制所述第二Spark應(yīng)用基于所述第一訂閱點信息開始處理數(shù)據(jù)。

10.根據(jù)權(quán)利要求9所述的裝置，其中，所述建立模塊還用于：

基于所述第一Spark應(yīng)用的當(dāng)前狀態(tài)，確定創(chuàng)建Spark應(yīng)用所需參數(shù)；

基于所述創(chuàng)建Spark應(yīng)用所需參數(shù)，建立第二Spark應(yīng)用。