[發明專利]一種動態更改Spark用戶配置的方法、裝置及其系統

在審

• 申請號: 202011188830.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112311603A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王成龍
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F9/445
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

本發明涉及一種動態更改Spark用戶配置的方法、裝置及其系統。該方法包括：利用預設restful接口接收用戶發送的最新配置信息；利用Spark內的預設廣播變量廣播所述最新配置信息，使執行任務中的所有Executor執行器獲取所述最新配置信息進行配置信息的更改。采用上述方法或裝置或系統能夠在任務運行過程中動態更改任務中的用戶配置信息，提高了Spark任務的靈活性。

技術領域

本發明涉及Spark任務配置的技術領域，具體涉及一種動態更改Spark用戶配置的方法、裝置及其系統。

背景技術

目前互聯網領域的多個業務中均涉及到大數據的處理，例如廣告、報表、推薦系統等業務，在上述業務中需要利用大數據做相應的數據分析、個性化推薦等操作。現有大數據的處理過程中涉及到的計算量極大，此種情況下采用了Spark計算引擎進行大數據處理。在Spark由driver和executor兩個節點進行數據處理。其中，driver是Spark的驅動器節點，用于執行Spark任務中的main方法，負責實際代碼的執行工作。Executor為Spark的執行器節點，負責在Spark作業中運行具體任務，任務之間相互獨立。

目前，在Spark任務提交后，都先啟動Driver，然后Driver向集群管理器注冊應用程序，之后集群管理器根據此任務的配置文件分配Executor并啟動，然后Driver等待資源滿足，執行main函數。在任務執行過程中往往會出現需要修改配置信息的情況，現有技術中大多通過修改代碼中的配置后重新編譯發布到集群中執行或將配置信息存放到預先指定的數據庫中，然后定時reload配置信息。上述方式不是需要修改代碼就是需要構建數據庫，導致修改效率低下，進而降低了Spark任務的執行效率。

發明內容

有鑒于此，本發明的目的在于克服現有技術的不足，提供一種動態更改Spark用戶配置的方法、裝置及其系統。

為實現以上目的，本發明采用如下技術方案：

一種動態更改Spark用戶配置的方法，所述方法應用于Driver驅動器，所述方法包括：

利用預設restful接口接收用戶發送的最新配置信息；

利用Spark內的預設廣播變量廣播所述最新配置信息，使執行任務中的所有Executor執行器獲取所述最新配置信息進行配置信息的更改。

可選的，還包括：

根據預設條件啟動所述預設restful接口。

可選的，所述預設restful接口為http形式。

一種動態更改Spark用戶配置的裝置，包括：

最新配置信息獲取模塊，用于利用預設restful接口接收用戶發送的最新配置信息；

最新配置信息廣播模塊，用于利用Spark內的預設廣播變量廣播所述最新配置信息，使執行任務中的所有Executor執行器獲取所述最新配置信息進行配置信息的更改。

一種動態更改Spark用戶配置的方法，所述方法應用于執行任務中的Executor執行器，所述方法包括：

獲取預設廣播變量中的最新配置信息；所述最新配置信息由Driver驅動器通過預設restful接口接收；

根據所述最新配置信息更改自身任務中對應的配置信息。

可選的，所述根據所述最新配置信息更改自身任務中對應的配置信息，包括：

獲取所述最新配置信息中的配置變量名稱和配置變量賦值；

根據所述配置變量名稱確定自身任務中對應的待更改配置變量；