[發(fā)明專(zhuān)利]用于流式計(jì)算服務(wù)的方法、裝置和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010974346.7
• 申請(qǐng)日: 2020-09-16
• 公開(kāi)（公告）號(hào): CN112015561A
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 連文瓏;王帥;周家英;黃文華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F9/54;G06Q20/38
• 代理公司: 北京永新同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11376
• 代理人: 楊錫勱;趙磊

1.一種用于流式計(jì)算服務(wù)的方法，其中，流式計(jì)算集群包括控制節(jié)點(diǎn)和N個(gè)計(jì)算節(jié)點(diǎn)，N為大于1的正整數(shù)，所述方法由所述控制節(jié)點(diǎn)執(zhí)行并且所述方法包括：

確定待分配的M個(gè)消息隊(duì)列分區(qū)，其中，M為正整數(shù)；

基于一致性哈希算法，將所述M個(gè)消息隊(duì)列分區(qū)映射到一致性哈希環(huán)上；

基于所述M個(gè)消息隊(duì)列分區(qū)的映射結(jié)果，將所述M個(gè)消息隊(duì)列分區(qū)分別分配給所述N個(gè)計(jì)算節(jié)點(diǎn)中的相應(yīng)的計(jì)算節(jié)點(diǎn)，以便由相應(yīng)的計(jì)算節(jié)點(diǎn)處理相應(yīng)的消息隊(duì)列分區(qū)中的消息，其中，所述N個(gè)計(jì)算節(jié)點(diǎn)基于所述一致性哈希算法被映射到所述一致性哈希環(huán)上。

2.根據(jù)權(quán)利要求1所述的方法，其中，將所述M個(gè)消息隊(duì)列分區(qū)映射到一致性哈希環(huán)上，包括：

基于所述一致性哈希算法，對(duì)所述M個(gè)消息隊(duì)列分區(qū)各自的標(biāo)識(shí)進(jìn)行哈希運(yùn)算，以得到所述M個(gè)消息隊(duì)列分區(qū)各自的哈希結(jié)果；

基于所述M個(gè)消息隊(duì)列分區(qū)各自的哈希結(jié)果，將所述M個(gè)消息隊(duì)列分區(qū)映射到所述一致性哈希環(huán)上。

3.根據(jù)權(quán)利要求1所述的方法，其中，在將所述M個(gè)消息隊(duì)列分區(qū)分別分配給所述N個(gè)計(jì)算節(jié)點(diǎn)中的相應(yīng)的計(jì)算節(jié)點(diǎn)之前，所述方法還包括：

確定所述N個(gè)計(jì)算節(jié)點(diǎn)各自對(duì)應(yīng)的至少一個(gè)虛擬節(jié)點(diǎn)；

基于所述一致性哈希算法，將所述N個(gè)計(jì)算節(jié)點(diǎn)以及所述N個(gè)計(jì)算節(jié)點(diǎn)各自對(duì)應(yīng)的至少一個(gè)虛擬節(jié)點(diǎn)映射到所述一致性哈希環(huán)上。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述流式計(jì)算集群還包括至少一個(gè)熱備節(jié)點(diǎn)，其中，所述至少一個(gè)熱備節(jié)點(diǎn)是在所述流式計(jì)算集群?jiǎn)?dòng)時(shí)初始化的；

所述方法還包括：

監(jiān)控所述N個(gè)計(jì)算節(jié)點(diǎn)是否正常運(yùn)行；

當(dāng)確定所述N個(gè)計(jì)算節(jié)點(diǎn)中的第一計(jì)算節(jié)點(diǎn)無(wú)法正常運(yùn)行時(shí)，使得所述至少一個(gè)熱備節(jié)點(diǎn)中的第一熱備節(jié)點(diǎn)代替所述第一計(jì)算節(jié)點(diǎn)來(lái)處理被分配給所述第一計(jì)算節(jié)點(diǎn)的消息隊(duì)列分區(qū)中的消息。

5.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，還包括：

監(jiān)控所述N個(gè)計(jì)算節(jié)點(diǎn)是否正常運(yùn)行；

基于監(jiān)控結(jié)果，生成集群健康狀態(tài)消息，其中，所述集群健康狀態(tài)消息用于指示所述流式計(jì)算集群是否正常運(yùn)行；

向集群管控節(jié)點(diǎn)發(fā)送所述集群健康狀態(tài)消息，

其中：

所述集群管控節(jié)點(diǎn)用于管理所述流式計(jì)算集群以及所述流式計(jì)算集群對(duì)應(yīng)的備用流式計(jì)算集群，

所述流式計(jì)算集群和所述備用流式計(jì)算集群同步地處理相同的消息隊(duì)列分區(qū)，

所述集群健康狀態(tài)消息由所述集群管控節(jié)點(diǎn)用來(lái)確定由所述流式計(jì)算集群還是所述備用流式計(jì)算集群對(duì)外提供服務(wù)。

6.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述流式計(jì)算集群為Ray Streaming集群。

7.一種用于流式計(jì)算服務(wù)的方法，其中，流式計(jì)算集群包括控制節(jié)點(diǎn)、N個(gè)計(jì)算節(jié)點(diǎn)和至少一個(gè)熱備節(jié)點(diǎn)，N為大于1的正整數(shù)，所述方法由所述控制節(jié)點(diǎn)執(zhí)行并且所述方法包括：

監(jiān)控所述N個(gè)計(jì)算節(jié)點(diǎn)是否正常運(yùn)行；

當(dāng)確定所述N個(gè)計(jì)算節(jié)點(diǎn)中的第一計(jì)算節(jié)點(diǎn)無(wú)法正常運(yùn)行時(shí)，使得所述至少一個(gè)熱備節(jié)點(diǎn)中的第一熱備節(jié)點(diǎn)代替所述第一計(jì)算節(jié)點(diǎn)來(lái)處理消息隊(duì)列中的被分配給所述第一計(jì)算節(jié)點(diǎn)的消息，其中，所述至少一個(gè)熱備節(jié)點(diǎn)是在所述流式計(jì)算集群?jiǎn)?dòng)時(shí)初始化的。

8.一種用于流式計(jì)算服務(wù)的方法，其中，所述方法由集群管控節(jié)點(diǎn)執(zhí)行，所述方法包括：

從由所述集群管控節(jié)點(diǎn)管理的多個(gè)流式計(jì)算集群分別接收集群健康狀態(tài)消息，其中，所述多個(gè)流式計(jì)算集群分別同步地處理相同的消息，每個(gè)流式計(jì)算集群的集群健康狀態(tài)消息用于指示該流式計(jì)算集群是否正常運(yùn)行；

基于所述多個(gè)流式計(jì)算集群的集群健康狀態(tài)消息，確定由所述多個(gè)流式計(jì)算集群中的哪個(gè)流式計(jì)算集群對(duì)外提供服務(wù)。

9.根據(jù)權(quán)利要求8所述的方法，其中，

所述多個(gè)流式計(jì)算集群連接到相同的外部存儲(chǔ)系統(tǒng)；或者

所述多個(gè)流式計(jì)算集群連接到不同的外部存儲(chǔ)系統(tǒng)，并且所述不同的外部存儲(chǔ)系統(tǒng)是彼此的備份。