[發(fā)明專利]一種動態(tài)更改Spark用戶配置的方法、裝置及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011188830.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112311603A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 王成龍
• 申請（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F9/445
• 代理公司: 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 付登云

1.一種動態(tài)更改Spark用戶配置的方法，其特征在于，所述方法應(yīng)用于Driver驅(qū)動器，所述方法包括：

利用預(yù)設(shè)restful接口接收用戶發(fā)送的最新配置信息；

利用Spark內(nèi)的預(yù)設(shè)廣播變量廣播所述最新配置信息，使執(zhí)行任務(wù)中的所有Executor執(zhí)行器獲取所述最新配置信息進(jìn)行配置信息的更改。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

根據(jù)預(yù)設(shè)條件啟動所述預(yù)設(shè)restful接口。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)restful接口為http形式。

4.一種動態(tài)更改Spark用戶配置的裝置，其特征在于，包括：

最新配置信息獲取模塊，用于利用預(yù)設(shè)restful接口接收用戶發(fā)送的最新配置信息；

最新配置信息廣播模塊，用于利用Spark內(nèi)的預(yù)設(shè)廣播變量廣播所述最新配置信息，使執(zhí)行任務(wù)中的所有Executor執(zhí)行器獲取所述最新配置信息進(jìn)行配置信息的更改。

5.一種動態(tài)更改Spark用戶配置的方法，其特征在于，所述方法應(yīng)用于執(zhí)行任務(wù)中的Executor執(zhí)行器，所述方法包括：

獲取預(yù)設(shè)廣播變量中的最新配置信息；所述最新配置信息由Driver驅(qū)動器通過預(yù)設(shè)restful接口接收；

根據(jù)所述最新配置信息更改自身任務(wù)中對應(yīng)的配置信息。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述最新配置信息更改自身任務(wù)中對應(yīng)的配置信息，包括：

獲取所述最新配置信息中的配置變量名稱和配置變量賦值；

根據(jù)所述配置變量名稱確定自身任務(wù)中對應(yīng)的待更改配置變量；

將所述配置變量賦值更新自身任務(wù)中所述待更改配置變量對應(yīng)的賦值。

7.一種動態(tài)更改Spark用戶配置的裝置，其特征在于，包括：

最新配置信息接收模塊，用于獲取預(yù)設(shè)廣播變量中的最新配置信息；所述最新配置信息由Driver驅(qū)動器通過預(yù)設(shè)restful接口接收；

配置信息更改模塊，用于根據(jù)所述最新配置信息更改自身任務(wù)中對應(yīng)的配置信息。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述配置信息更改模塊，包括：

配置變量信息獲取單元，用于獲取所述最新配置信息中的配置變量名稱和配置變量賦值；

待更改變量確定單元，用于根據(jù)所述配置變量名稱確定自身任務(wù)中對應(yīng)的待更改配置變量；

變量賦值更改單元，用于將所述配置變量賦值更新自身任務(wù)中所述待更改配置變量對應(yīng)的賦值。

9.一種動態(tài)更改Spark用戶配置的系統(tǒng)，其特征在于，包括：

Driver驅(qū)動器、預(yù)設(shè)restful接口和多個Executor執(zhí)行器；

所述Driver驅(qū)動器與所述預(yù)設(shè)restful接口通信連接，所述Driver驅(qū)動器用于執(zhí)行權(quán)利要求1-3任一項所述的動態(tài)更改Spark用戶配置的方法；

所述Executor執(zhí)行器用于執(zhí)行權(quán)利要求5-6任一項所述的動態(tài)更改Spark用戶配置的方法。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，還包括：用于廣播最新配置信息的預(yù)設(shè)廣播變量。