[發(fā)明專利]基于容器的任務處理的方法、系統(tǒng)及容器集群管理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710493215.5
• 申請日: 2017-06-26
• 公開（公告）號: CN109117252B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 張侃;連序全;劉彥偉;荊迪
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京律智知識產(chǎn)權代理有限公司 11438
• 代理人: 闞梓瑄;王衛(wèi)忠

本申請公開一種基于容器的任務處理的方法、系統(tǒng)及容器集群管理系統(tǒng)。該方法包括：調(diào)度節(jié)點根據(jù)用戶提交的任務向容器集群管理系統(tǒng)發(fā)送管理節(jié)點容器申請請求；所述容器集群管理系統(tǒng)根據(jù)所述管理節(jié)點容器申請請求啟動管理節(jié)點容器，以啟動管理節(jié)點；所述管理節(jié)點獲取到來自所述調(diào)度節(jié)點的所述任務，并向所述容器集群管理系統(tǒng)發(fā)送執(zhí)行節(jié)點容器申請請求；所述容器集群管理系統(tǒng)根據(jù)所述執(zhí)行節(jié)點容器申請請求啟動執(zhí)行節(jié)點容器，以啟動執(zhí)行節(jié)點；所述執(zhí)行節(jié)點獲取到來自所述管理節(jié)點的所述任務，并執(zhí)行所述任務，能夠?qū)崿F(xiàn)大集群規(guī)模的分布式計算平臺。

技術領域

本發(fā)明涉及計算機科學技術領域，具體而言，涉及一種基于容器的任務處理的方法、系統(tǒng)及容器集群管理系統(tǒng)。

背景技術

隨著互聯(lián)網(wǎng)的發(fā)展，目前實時計算的場景越來越廣泛，對實時計算平臺的業(yè)務需求越來越高，對平臺穩(wěn)定性和資源利用率的要求也越來越高。

現(xiàn)有技術中，實時計算平臺架構方案是基于物理機的技術方案，例如storm(流處理)，spark streaming(大數(shù)據(jù)流處理)。

storm計算平臺是一個分布式的、容錯的實時計算系統(tǒng)，用于實時數(shù)據(jù)處理的相關需求。Spark(大數(shù)據(jù))平臺是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎，sparkstreaming的模式可以用于準實時計算。

storm技術架構方案所使用的調(diào)度方式限制了平臺的集群規(guī)模，在集群規(guī)模上百臺，集群任務數(shù)上千后會出現(xiàn)性能問題。

Spark streaming借助spark平臺方案實現(xiàn)了準實時的批量數(shù)據(jù)處理，但是在集群任務資源隔離控制上管理較弱，不能實現(xiàn)大規(guī)模集群的方案。

傳統(tǒng)的基于容器的storm方案，是直接使用容器替換物理機的功能，實現(xiàn)上簡單，但是只達到了部署簡單的目的，達不到處理進程級別的資源隔離，穩(wěn)定性較差，同樣不能支持大集群部署。

綜上，現(xiàn)有技術中，實時計算方案在資源使用和調(diào)度上都不能實現(xiàn)海量集群規(guī)模。

因此，需要一種新的基于容器的任務處理的方法、系統(tǒng)及容器集群管理系統(tǒng)。

在所述背景技術部分公開的上述信息僅用于加強對本發(fā)明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現(xiàn)有技術的信息。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種基于容器的任務處理的方法、系統(tǒng)及容器集群管理系統(tǒng)，能夠?qū)崿F(xiàn)大集群規(guī)模的分布式計算平臺。

本發(fā)明的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本發(fā)明的實踐而習得。

根據(jù)本發(fā)明的第一方面，提供一種基于容器的任務處理的方法，其中，包括：

調(diào)度節(jié)點根據(jù)用戶提交的任務向容器集群管理系統(tǒng)發(fā)送管理節(jié)點容器申請請求；

所述容器集群管理系統(tǒng)根據(jù)所述管理節(jié)點容器申請請求啟動管理節(jié)點容器，以啟動管理節(jié)點；

所述管理節(jié)點獲取到來自所述調(diào)度節(jié)點的所述任務，并向所述容器集群管理系統(tǒng)發(fā)送執(zhí)行節(jié)點容器申請請求；

所述容器集群管理系統(tǒng)根據(jù)所述執(zhí)行節(jié)點容器申請請求啟動執(zhí)行節(jié)點容器，以啟動執(zhí)行節(jié)點；

所述執(zhí)行節(jié)點獲取到來自所述管理節(jié)點的所述任務，并執(zhí)行所述任務。

根據(jù)一些實施例，所述管理節(jié)點獲取到來自所述調(diào)度節(jié)點的所述任務，包括：所述容器集群管理系統(tǒng)向所述調(diào)度節(jié)點發(fā)送所述管理節(jié)點的地址信息；所述調(diào)度節(jié)點根據(jù)所述地址信息向所述管理節(jié)點發(fā)送所述任務。