[發明專利]分布式流計算系統和方法

有效

• 申請號: 201410253627.8
• 申請日: 2014-06-09
• 公開（公告）號: CN105224550B
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 莊廣安
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;H04L29/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

1.一種分布式流計算系統，其特征在于，包括接口模塊、計算控制模塊和任務跟蹤模塊；

所述接口模塊用于接收業務請求，并將所述業務請求發送給計算控制模塊和任務跟蹤模塊；

所述計算控制模塊用于根據所述業務請求從全局配置層獲取與所述業務請求對應的計算拓撲，根據所述計算拓撲對所述業務請求進行處理得到所述業務請求的執行情況，并將所述業務請求的執行情況上報給所述任務跟蹤模塊；

所述任務跟蹤模塊用于將所述業務請求的執行情況發送給所述接口模塊；

所述接口模塊還用于根據所述業務請求的執行情況確定是否重發所述業務請求。

2.根據權利要求1所述的系統，其特征在于，所述接口模塊還用于接收業務請求，對所述業務請求解析得到關鍵字，根據所述關鍵字從所述全局配置層獲取所需轉發到的節點地址，以及將所述業務請求發送至任務跟蹤模塊和所述節點地址所對應的計算控制模塊。

3.根據權利要求1所述的系統，其特征在于，所述計算控制模塊還用于調用所述計算拓撲中的各層的計算單元對所述業務請求進行處理，接收各層的計算單元對所述業務請求的執行情況，并將所述業務請求的執行情況上報給所述任務跟蹤模塊；

其中，所述業務請求的執行情況包括輸入到每個層的計算單元的數據消息和每個層的計算單元輸出的數據消息。

4.根據權利要求3所述的系統，其特征在于，上一層的計算控制模塊將數據消息傳輸給所述上一層的計算單元，并接收所述上一層的計算單元對所述數據消息的計算結果，再將所述計算結果傳輸給下一層的計算控制模塊，所述上一層和下一層為相鄰的兩層。

5.根據權利要求4所述的系統，其特征在于，當上一層的計算單元計算完成后，所述任務跟蹤模塊還用于將上一層的計算單元需要發送給下一層計算單元的數據消息數目發送至下一層的計算控制模塊；

下一層的計算控制模塊還用于將從上一層的計算控制模塊接收的計算結果中的數據消息數目和所述任務跟蹤模塊發送的數據消息數目比較，若相同，則將接收的計算結果中的數據消息傳輸給所述下一層的計算單元。

6.根據權利要求3所述的系統，其特征在于，所述計算拓撲中某層包括多個計算單元；

所述某層的計算控制模塊接收所述多個計算單元中每個計算單元對數據消息的計算結果，再將所述多個計算單元中每個計算單元對數據消息的計算結果一起傳輸給所述某層的下一層的計算控制模塊，并將多個計算單元中的每個計算單元的執行情況上報給所述任務跟蹤模塊；

當某層的多個計算單元計算完成后，所述任務跟蹤模塊根據所述某層的每個計算單元的執行情況得到所述某層的多個計算單元需要發送給所述某層的下一層計算單元的數據消息數目，并將所述數據消息數目發送至所述某層的下一層的計算控制模塊；

所述某層的下一層的計算控制模塊用于將從所述某層的計算控制模塊接收的計算結果中的數據消息數目和所述任務跟蹤模塊發送的數據消息數目比較，若相同，則將接收的計算結果中的數據消息傳輸給所述下一層的計算單元。

7.根據權利要求6所述的系統，其特征在于，所述任務跟蹤模塊還用于為所述業務請求分配任務標識；

當所述某層的多個計算單元中的每個計算單元完成后，所述某層的計算控制模塊將所述每個計算單元分配對應的消息標識，并將所述消息標識上報給所述任務跟蹤模塊；

當所述某層的多個計算單元完成后，所述任務跟蹤模塊將所述任務標識所對應的所述某層的完成標志位清零。

8.根據權利要求7所述的系統，其特征在于，所述任務跟蹤模塊還用于將所述每個計算單元的消息標識進行異或操作，若異或操作為零，則所述計算單元計算成功。

9.一種分布式流計算方法，包括以下步驟：

接收業務請求；

從全局配置層獲取與所述業務請求對應的計算拓撲；

根據所述計算拓撲對所述業務請求進行處理得到所述業務請求的執行情況；

根據所述業務請求的執行情況確定是否重發所述業務請求。