[發明專利]實時計算方法及裝置

有效

• 申請號: 201610887694.4
• 申請日: 2016-10-11
• 公開（公告）號: CN106991070B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 馬文琪;程磊
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/48;G06F9/50
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請提供一種新的基于Jstorm的實時計算系統的架構，包括仲裁子系統，以及基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；仲裁子系統可以基于各計算子系統定時發送的心跳消息探測所述若干計算子系統中狀態正常的計算子系統，并針對探測到的狀態正常的計算子系統動態的分配計算任務，各狀態正常的計算子系統可以基于仲裁子系統分配的計算任務，從待計算數據集合中提取對應于該計算任務的數據子集進行數據計算。本申請可以提升實時計算系統的穩定性。

技術領域

本申請涉及計算機應用領域，尤其涉及一種基于Jstorm的實時計算方法及裝置。

背景技術

在傳統的基于jstorm的實時計算系統的架構中，通常包括實時數據傳輸平臺，和基于jstorm架構的用于流式計算的計算系統。計算系統可以訂閱實時數據傳輸平臺中的數據，進行實時的流式數據計算。

然而，傳統的基于基于jstorm的實時計算系統，在整體鏈路上通常為單點模型，一旦計算系統所在的計算節點出現故障，就會導致數據計算中斷，造成業務上的整體不可用。

發明內容

本申請提出一種基于Jstorm的實時計算方法，應用于實時計算系統中的仲裁子系統，所述實時計算系統還包括基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；包括：

基于各計算子系統定時發送的心跳消息探測所述若干計算子系統中狀態正常的計算子系統；

基于預設的任務分配策略為探測到的各狀態正常的計算子系統分別分配計算任務，以由各計算子系統從待計算數據集合中提取對應于所述計算任務的數據子集進行數據計算；

當探測到任一狀態正常的計算子系統發生狀態異常時，基于所述預設的任務分配策略針對當前狀態正常的計算子系統重新分配計算任務。

本申請還提出一種基于Jstorm的實時計算方法，應用于實時計算系統中的任一計算子系統，所述實時計算系統包括仲裁子系統，以及基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；包括：

定時向仲裁子系統發送心跳消息，以由所述仲裁子系統基于所述心跳消息探測所述若干計算子系統中狀態正常的計算子系統，并為狀態正常的計算子系統分配計算任務；

獲取所述仲裁子系統分配的計算任務，基于預設的數據提取策略從待計算數據集合中提取對應于所述計算任務的數據子集進行數據計算；

判斷仲裁子系統分配的計算任務是否發生更新；

當所述仲裁子系統分配的計算任務發生更新時，基于所述預設的數據提取策略從預設的待計算數據集合中重新提取對應于更新后的計算任務的數據子集進行數據計算。

本申請還提出一種基于Jstorm的實時計算裝置，應用于實時計算系統中的仲裁子系統，所述實時計算系統還包括基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；包括：

探測模塊，基于各計算子系統定時發送的心跳消息探測所述若干計算子系統中狀態正常的計算子系統；

分配模塊，基于預設的任務分配策略為探測到的各狀態正常的計算子系統分別分配計算任務，以由各計算子系統從待計算數據集合中提取對應于所述計算任務的數據子集進行數據計算；

所述分配模塊，在探測到任一狀態正常的計算子系統發生狀態異常時，基于所述預設的任務分配策略針對當前狀態正常的計算子系統重新分配計算任務。

本申請還提出一種基于Jstorm的實時計算裝置，應用于實時計算系統中的任一計算子系統，所述實時計算系統包括仲裁子系統，以及基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；包括：