[發明專利]分布式流處理系統的容錯方法、節點及系統

有效

• 申請號: 201310754620.X
• 申請日: 2013-12-31
• 公開（公告）號: CN104038364A
• 公開（公告）日: 2014-09-10
• 發明（設計）人: 潘璐伽;何誠
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 黃厚剛

1.一種分布式流處理系統的容錯方法，其特征在于，所述方法包括：

獲取分布式流處理系統中的失效節點的節點信息，并接收上游節點發送的重發數據，所述重發數據由源節點始發，所述上游節點為所述源節點或上游工作節點；

根據所述失效節點的節點信息確定是否與所述失效節點相關；

如果與所述失效節點相關，則處理接收到的重發數據，并發送至下游節點。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述分布式流處理系統中失效節點的節點信息，包括：

接收集中管理實體發送的失效節點的節點信息，所述集中管理實體用于監控所述分布式流處理系統中的各個節點的工作狀況。

3.根據權利要求1所述的方法，其特征在于，所述根據所述失效節點的節點信息確定是否與所述失效節點相關，包括：

根據所述失效節點的節點信息查詢預先存儲的節點關聯表，所述節點關聯表中記錄了所述分布式流處理系統中的各個節點信息及對應的相關度；

根據查詢結果確定是否與所述失效節點相關。

4.根據權利要求1所述的方法，其特征在于，所述處理接收到的重發數據，包括：

獲取預先存儲的狀態信息，所述預先存儲的狀態信息至少包括當前的節點狀態信息及后續處理數據所需的數據結果信息；

根據所述預先存儲的狀態信息處理接收到的重發數據。

5.根據權利要求4所述的方法，其特征在于，所述根據所述預先存儲的狀態信息處理接收到的重發數據之后，還包括：

接收所述上游節點發送的信號包，所述信號包中攜帶有分組標識，所述分組標識為源節點對流入的數據進行分組編號后添加到所述信號包中的；

根據當前接收到的信號包中攜帶的分組標識確定是否需要存儲狀態信息；

如果需要存儲狀態信息，則根據所述重發數據的處理結果存儲狀態信息。

6.根據權利要求5所述的方法，其特征在于，所述根據當前接收到的信號包中攜帶的分組標識確定是否需要存儲狀態信息，包括：

獲取預先存儲的分組標識，并確定所述預先存儲的分組標識對應的預設分組標識，所述預先存儲的分組標識為之前接收到的信號包中攜帶的分組標識；

判斷當前接收到的信號包中攜帶的分組標識與所述預先存儲的分組標識對應的預設分組標識是否一致；

如果當前接收到的信號包中攜帶的分組標識與所述預先存儲的分組標識對應的預設分組標識不一致，則確定需要存儲狀態信息。

7.根據權利要求4所述的方法，其特征在于，所述上游節點發送的重發數據中攜帶有對應的分組標識，所述分組標識為源節點對所述重發數據進行分組編號后添加到所述重發數據中的；

所述根據所述預先存儲的狀態信息處理接收到的重發數據之后，還包括：

根據所述重發數據中攜帶的分組標識確定是否需要存儲狀態信息；

如果需要存儲狀態信息，則根據所述重發數據的處理結果存儲狀態信息。

8.根據權利要求7所述的方法，其特征在于，所述根據所述重發數據中攜帶的分組標識確定是否需要存儲狀態信息，包括：

獲取預先存儲的分組標識，并確定所述預先存儲的分組標識對應的預設分組標識，所述預先存儲的分組標識為之前接收到的數據中攜帶的分組標識；

判斷所述重發數據中攜帶的分組標識與所述預先存儲的分組標識對應的預設分組標識是否一致；

如果所述重發數據中攜帶的分組標識與所述預先存儲的分組標識對應的預設分組標識不一致，則確定需要存儲狀態信息。

9.根據權利要求1所述的方法，其特征在于，所述根據所述失效節點的節點信息確定是否與所述失效節點相關之后，還包括：

如果與所述失效節點不相關，則對接收到的重發數據不做處理。