[發明專利]實時計算方法及裝置

有效

• 申請號: 201610887694.4
• 申請日: 2016-10-11
• 公開（公告）號: CN106991070B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 馬文琪;程磊
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/48;G06F9/50
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種基于Jstorm的實時計算方法，其特征在于，應用于實時計算系統中的仲裁子系統，所述實時計算系統還包括基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；所述計算子系統為包含多個計算節點的分布式系統；包括：

基于各計算子系統定時發送的心跳消息探測所述若干計算子系統中狀態正常的計算子系統；

基于預設的任務分配策略為探測到的各狀態正常的計算子系統分別分配計算任務，以由各計算子系統從待計算數據集合中提取對應于所述計算任務的數據子集進行數據計算；

當探測到任一狀態正常的計算子系統發生狀態異常時，基于所述預設的任務分配策略針對當前狀態正常的計算子系統重新分配計算任務。

2.根據權利要求1所述的方法，其特征在于，

所述基于各計算子系統定時發送的心跳消息探測所述若干計算子系統中狀態正常的計算子系統，包括：

接收各計算子系統中的各計算節點定時發送的心跳消息；

統計各計算子系統中成功接收到所述心跳消息的計算節點數量；

當在所述心跳消息的定時發送周期內，成功接收到任一計算子系統中所有計算節點發送的心跳消息時，確定該計算子系統狀態正常。

3.根據權利要求2所述的方法，其特征在于，還包括：

當在所述心跳消息的定時發送周期內，未成功接收到任一計算子系統中所有計算節點發送的心跳消息，并且未成功接收到所述心跳消息的計算節點的數量對應于該計算子系統的計算節點總數量的占比達到預設閾值時，則確定該計算子系統狀態異常；

當在所述心跳消息的下一定時發送周期內，成功接收到狀態異常的計算子系統中所有計算節點發送的心跳信息，則確定該計算子系統狀態異常恢復。

4.根據權利要求1所述的方法，其特征在于，還包括：

當探測到任一狀態異常的計算子系統狀態異常恢復時，基于所述預設的任務分配策略針對當前狀態正常的計算子系統重新分配計算任務。

5.根據權利要求1或4所述的方法，其特征在于，所述預設的任務分配策略包括：

獲取各計算子系統的標識信息；

針對各計算子系統的標識信息進行排序；

基于針對各計算子系統的標識信息進行排序后的順序，為各計算子系統分別分配對應的計算任務，并生成對應的任務編號。

6.根據權利要求1所述的方法，其特征在于，所述若干計算子系統分布式部署于物理地域不同的數據中心。

7.一種基于Jstorm的實時計算方法，其特征在于，應用于實時計算系統中的任一計算子系統，所述實時計算系統包括仲裁子系統，以及基于Jstorm架構的若干計算子系統；所述若干計算子系統采用分布式部署；所述計算子系統為包含多個計算節點的分布式系統；包括：

定時向仲裁子系統發送心跳消息，以由所述仲裁子系統基于所述心跳消息探測所述若干計算子系統中狀態正常的計算子系統，并為狀態正常的計算子系統分配計算任務；

獲取所述仲裁子系統分配的計算任務，基于預設的數據提取策略從待計算數據集合中提取對應于所述計算任務的數據子集進行數據計算；

判斷仲裁子系統分配的計算任務是否發生更新；

當所述仲裁子系統分配的計算任務發生更新時，基于所述預設的數據提取策略從預設的待計算數據集合中重新提取對應于更新后的計算任務的數據子集進行數據計算。

8.根據權利要求7所述的方法，其特征在于，所述計算子系統為包含多個計算節點的分布式系統；

所述定時向仲裁子系統發送心跳消息，包括：

通過計算子系統中的各計算節點定時分別向所述仲裁子系統發送心跳消息。