[發明專利]一種動態更改Spark用戶配置的方法、裝置及其系統

在審

• 申請號: 202011188830.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112311603A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王成龍
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F9/445
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

1.一種動態更改Spark用戶配置的方法，其特征在于，所述方法應用于Driver驅動器，所述方法包括：

利用預設restful接口接收用戶發送的最新配置信息；

利用Spark內的預設廣播變量廣播所述最新配置信息，使執行任務中的所有Executor執行器獲取所述最新配置信息進行配置信息的更改。

2.根據權利要求1所述的方法，其特征在于，還包括：

根據預設條件啟動所述預設restful接口。

3.根據權利要求1所述的方法，其特征在于，所述預設restful接口為http形式。

4.一種動態更改Spark用戶配置的裝置，其特征在于，包括：

最新配置信息獲取模塊，用于利用預設restful接口接收用戶發送的最新配置信息；

最新配置信息廣播模塊，用于利用Spark內的預設廣播變量廣播所述最新配置信息，使執行任務中的所有Executor執行器獲取所述最新配置信息進行配置信息的更改。

5.一種動態更改Spark用戶配置的方法，其特征在于，所述方法應用于執行任務中的Executor執行器，所述方法包括：

獲取預設廣播變量中的最新配置信息；所述最新配置信息由Driver驅動器通過預設restful接口接收；

根據所述最新配置信息更改自身任務中對應的配置信息。

6.根據權利要求5所述的方法，其特征在于，所述根據所述最新配置信息更改自身任務中對應的配置信息，包括：

獲取所述最新配置信息中的配置變量名稱和配置變量賦值；

根據所述配置變量名稱確定自身任務中對應的待更改配置變量；

將所述配置變量賦值更新自身任務中所述待更改配置變量對應的賦值。

7.一種動態更改Spark用戶配置的裝置，其特征在于，包括：

最新配置信息接收模塊，用于獲取預設廣播變量中的最新配置信息；所述最新配置信息由Driver驅動器通過預設restful接口接收；

配置信息更改模塊，用于根據所述最新配置信息更改自身任務中對應的配置信息。

8.根據權利要求7所述的裝置，其特征在于，所述配置信息更改模塊，包括：

配置變量信息獲取單元，用于獲取所述最新配置信息中的配置變量名稱和配置變量賦值；

待更改變量確定單元，用于根據所述配置變量名稱確定自身任務中對應的待更改配置變量；

變量賦值更改單元，用于將所述配置變量賦值更新自身任務中所述待更改配置變量對應的賦值。

9.一種動態更改Spark用戶配置的系統，其特征在于，包括：

Driver驅動器、預設restful接口和多個Executor執行器；

所述Driver驅動器與所述預設restful接口通信連接，所述Driver驅動器用于執行權利要求1-3任一項所述的動態更改Spark用戶配置的方法；

所述Executor執行器用于執行權利要求5-6任一項所述的動態更改Spark用戶配置的方法。

10.根據權利要求9所述的系統，其特征在于，還包括：用于廣播最新配置信息的預設廣播變量。