[發(fā)明專利]實時計算方法及裝置

有效

• 申請?zhí)枺?/td>: 201610887694.4
• 申請日: 2016-10-11
• 公開（公告）號: CN106991070B
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 馬文琪;程磊
• 申請（專利權(quán)）人: 創(chuàng)新先進技術(shù)有限公司
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/48;G06F9/50
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本申請?zhí)峁┮环N新的基于Jstorm的實時計算系統(tǒng)的架構(gòu)，包括仲裁子系統(tǒng)，以及基于Jstorm架構(gòu)的若干計算子系統(tǒng)；所述若干計算子系統(tǒng)采用分布式部署；仲裁子系統(tǒng)可以基于各計算子系統(tǒng)定時發(fā)送的心跳消息探測所述若干計算子系統(tǒng)中狀態(tài)正常的計算子系統(tǒng)，并針對探測到的狀態(tài)正常的計算子系統(tǒng)動態(tài)的分配計算任務(wù)，各狀態(tài)正常的計算子系統(tǒng)可以基于仲裁子系統(tǒng)分配的計算任務(wù)，從待計算數(shù)據(jù)集合中提取對應(yīng)于該計算任務(wù)的數(shù)據(jù)子集進行數(shù)據(jù)計算。本申請可以提升實時計算系統(tǒng)的穩(wěn)定性。

技術(shù)領(lǐng)域

本申請涉及計算機應(yīng)用領(lǐng)域，尤其涉及一種基于Jstorm的實時計算方法及裝置。

背景技術(shù)

在傳統(tǒng)的基于jstorm的實時計算系統(tǒng)的架構(gòu)中，通常包括實時數(shù)據(jù)傳輸平臺，和基于jstorm架構(gòu)的用于流式計算的計算系統(tǒng)。計算系統(tǒng)可以訂閱實時數(shù)據(jù)傳輸平臺中的數(shù)據(jù)，進行實時的流式數(shù)據(jù)計算。

然而，傳統(tǒng)的基于基于jstorm的實時計算系統(tǒng)，在整體鏈路上通常為單點模型，一旦計算系統(tǒng)所在的計算節(jié)點出現(xiàn)故障，就會導(dǎo)致數(shù)據(jù)計算中斷，造成業(yè)務(wù)上的整體不可用。

發(fā)明內(nèi)容

本申請?zhí)岢鲆环N基于Jstorm的實時計算方法，應(yīng)用于實時計算系統(tǒng)中的仲裁子系統(tǒng)，所述實時計算系統(tǒng)還包括基于Jstorm架構(gòu)的若干計算子系統(tǒng)；所述若干計算子系統(tǒng)采用分布式部署；包括：

基于各計算子系統(tǒng)定時發(fā)送的心跳消息探測所述若干計算子系統(tǒng)中狀態(tài)正常的計算子系統(tǒng)；

基于預(yù)設(shè)的任務(wù)分配策略為探測到的各狀態(tài)正常的計算子系統(tǒng)分別分配計算任務(wù)，以由各計算子系統(tǒng)從待計算數(shù)據(jù)集合中提取對應(yīng)于所述計算任務(wù)的數(shù)據(jù)子集進行數(shù)據(jù)計算；

當(dāng)探測到任一狀態(tài)正常的計算子系統(tǒng)發(fā)生狀態(tài)異常時，基于所述預(yù)設(shè)的任務(wù)分配策略針對當(dāng)前狀態(tài)正常的計算子系統(tǒng)重新分配計算任務(wù)。

本申請還提出一種基于Jstorm的實時計算方法，應(yīng)用于實時計算系統(tǒng)中的任一計算子系統(tǒng)，所述實時計算系統(tǒng)包括仲裁子系統(tǒng)，以及基于Jstorm架構(gòu)的若干計算子系統(tǒng)；所述若干計算子系統(tǒng)采用分布式部署；包括：

定時向仲裁子系統(tǒng)發(fā)送心跳消息，以由所述仲裁子系統(tǒng)基于所述心跳消息探測所述若干計算子系統(tǒng)中狀態(tài)正常的計算子系統(tǒng)，并為狀態(tài)正常的計算子系統(tǒng)分配計算任務(wù)；

獲取所述仲裁子系統(tǒng)分配的計算任務(wù)，基于預(yù)設(shè)的數(shù)據(jù)提取策略從待計算數(shù)據(jù)集合中提取對應(yīng)于所述計算任務(wù)的數(shù)據(jù)子集進行數(shù)據(jù)計算；

判斷仲裁子系統(tǒng)分配的計算任務(wù)是否發(fā)生更新；

當(dāng)所述仲裁子系統(tǒng)分配的計算任務(wù)發(fā)生更新時，基于所述預(yù)設(shè)的數(shù)據(jù)提取策略從預(yù)設(shè)的待計算數(shù)據(jù)集合中重新提取對應(yīng)于更新后的計算任務(wù)的數(shù)據(jù)子集進行數(shù)據(jù)計算。

本申請還提出一種基于Jstorm的實時計算裝置，應(yīng)用于實時計算系統(tǒng)中的仲裁子系統(tǒng)，所述實時計算系統(tǒng)還包括基于Jstorm架構(gòu)的若干計算子系統(tǒng)；所述若干計算子系統(tǒng)采用分布式部署；包括：

探測模塊，基于各計算子系統(tǒng)定時發(fā)送的心跳消息探測所述若干計算子系統(tǒng)中狀態(tài)正常的計算子系統(tǒng)；

分配模塊，基于預(yù)設(shè)的任務(wù)分配策略為探測到的各狀態(tài)正常的計算子系統(tǒng)分別分配計算任務(wù)，以由各計算子系統(tǒng)從待計算數(shù)據(jù)集合中提取對應(yīng)于所述計算任務(wù)的數(shù)據(jù)子集進行數(shù)據(jù)計算；

所述分配模塊，在探測到任一狀態(tài)正常的計算子系統(tǒng)發(fā)生狀態(tài)異常時，基于所述預(yù)設(shè)的任務(wù)分配策略針對當(dāng)前狀態(tài)正常的計算子系統(tǒng)重新分配計算任務(wù)。

本申請還提出一種基于Jstorm的實時計算裝置，應(yīng)用于實時計算系統(tǒng)中的任一計算子系統(tǒng)，所述實時計算系統(tǒng)包括仲裁子系統(tǒng)，以及基于Jstorm架構(gòu)的若干計算子系統(tǒng)；所述若干計算子系統(tǒng)采用分布式部署；包括：