[發明專利]一種數據處理方法、裝置、設備、系統和存儲介質

在審

• 申請號: 201911180814.7
• 申請日: 2019-11-27
• 公開（公告）號: CN112860417A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 陳國鋒;余萬水;楊鋒
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;劉偉

1.一種數據處理方法，其特征在于，應用于Spark的執行器，所述執行器為至少一個，所述方法包括：

從分布式累加器獲取目標變量的累加值，其中，所述累加值是分布式累加器根據Spark的執行器發送的累加信息獲得的；

判斷所述累加值是否滿足預設條件，得到判斷結果；

根據所述判斷結果確定處理方式。

2.根據權利要求1所述的方法，其特征在于，所述從分布式累加器獲取目標變量的累加值，包括：

通過累加器連接裝置向所述分布式累加器發送累加請求；

接收所述分布式累加器通過所述累加器連接裝置發送的所述累加值。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲得所述目標變量的累加信息；

向所述分布式累加器發送所述目標變量的累加信息。

4.一種數據處理方法，其特征在于，應用于分布式累加器，所述方法包括：

向Spark的執行器發送目標變量的累加值，其中，所述累加值是根據Spark中的執行器發送的累加信息獲得的。

5.根據權利要求4所述的方法，其特征在于，所述向Spark的執行器發送目標變量的累加值，包括：

接收所述執行器通過累加器連接裝置發送的累加請求；

根據所述累加請求，確定所述目標變量的關鍵值；

根據所述目標變量的關鍵值，獲得所述目標變量的累加值；

通過所述累加器連接裝置向所述執行器發送所述目標變量的累加值。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

接收所述執行器通過累加器連接裝置發送的所述目標變量的累加信息；

根據所述累加信息和存儲的所述目標變量的累加值，更新所述目標變量的累加值。

7.根據權利要求4-6任一項所述的方法，其特征在于，所述方法還包括：

向所述Spark中的驅動器發送所述目標變量的最終累加值。

8.一種數據處理裝置，其特征在于，應用于Spark中的執行器，包括：

獲取模塊，用于從分布式累加器獲取目標變量的累加值，其中，所述累加值是所述分布式累加器根據Spark中的執行器發送的累加信息獲得的；

判斷模塊，用于判斷所述累加值是否滿足預設條件，得到判斷結果；

處理模塊，用于根據所述判斷結果確定處理方式。

9.一種數據處理裝置，其特征在于，應用于分布式累加器，包括：

發送模塊，用于向Spark的執行器發送目標變量的累加值，其中，所述累加值是根據Spark中的執行器發送的累加信息獲得的。

10.一種電子設備，包括：收發器、存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序，所述收發器用于在所述處理器的控制下接收和發送數據；其特征在于，

所述處理器，用于讀取存儲器中的程序實現如權利要求1至3中任一項所述的方法中的步驟；或者實現如權利要求4至7中任一項所述的方法中的步驟。

11.一種計算機可讀存儲介質，用于存儲計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至3中任一項所述的方法中的步驟；或者實現如權利要求4至7中任一項所述的方法中的步驟。

12.一種數據處理系統，其特征在于，包括：Spark中的執行器，分布式累加器；

所述分布式累加器，用于向所述執行器發送目標變量的累加值，其中，所述累加值是根據Spark中的執行器發送的累加信息獲得的；

所述執行器，用于從分布式累加器獲取所述目標變量的累加值，判斷所述累加值是否滿足預設條件，得到判斷結果；根據所述判斷結果確定處理方式。

13.根據權利要求12所述的系統，其特征在于，所述系統還包括：

Spark的驅動器，用于向所述分布式累加器發送目標變量的初始化值，并從所述分布式累加器獲得所述目標變量的最終累加值。