[發明專利]一種主/從架構的低耦合的分布式流式計算系統

有效

• 申請號: 201811057446.2
• 申請日: 2018-09-11
• 公開（公告）號: CN109327509B
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 鄒復好;李開;熊饒饒;劉鵬坤;孫斌
• 申請（專利權）人: 武漢魅瞳科技有限公司
• 主分類號: H04L67/1042
• 分類號: H04L67/1042;H04L67/1008;H04L67/1097;H04L67/02;H04L67/55;H04L67/133;H04L43/0817;H04L43/10;H04L41/0668
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發明實施例提供了一種主/從架構的低耦合的分布式流式計算系統，包括：分布式服務環境、集群管理主節點、集群的工作從節點、集群的業務處理節點；所述分布式服務環境用于存儲各個分布式節點的運行狀態、負載狀態以及任務執行狀態；所述集群管理主節點用于管理集群節點的運行狀態，并向各個集群節點分發任務；所述集群的工作從節點用于執行所述集群管理主節點分發的任務，并將任務執行的中間結果在Kafka中緩存；所述集群的業務處理節點用于消費Kafka中產生的消息，并得到業務結果。能夠適用于多種情況下的流式數據處理，模塊之間充分解耦合，能夠實現動態縮擴容，實現數據的冗余備份，主節點的備份機制能實現服務的可靠性。

技術領域

本發明實施例涉及大數據處理和流式計算技術領域，尤其涉及一種主/從架構的低耦合的分布式流式計算框架。

背景技術

近年來，隨著信息技術的快速發展，數據量呈現飛速增長的趨勢，對于海量數據，單臺計算機的處理能力已經遠遠不夠，由此推動了分布式系統的研究和進展。分布式計算系統的核心思想就是“分而治之”，將海量數據源進行任務分割，將分割后的任務分發給多臺計算機并行處理，并將并行處理的結果合并為最終的結果。分布式計算機集群通過網絡互連，可以實現資源的共享、協同工作、并行化處理，對外提供統一的接口，呈現單個完整的計算系統。在海量的、復雜的數據環境中，不僅包含靜態的、結構化的數據，還包括源源不斷持續產生的、實時性強、非結構化的數據，例如攝像頭采集的視頻數據，服務器產生的日志數據，搜索引擎的日志等。如何在海量數據中快速分析獲取有用的信息是現在分布式計算領域的研究熱點。

針對流數據應用場景，與傳統的存儲在磁盤或內存中的數據不同，流數據的特點在于：實時性：數據流實時產生，需要實時得出分析結果；持久性：數據流無限、持續產生和流入；容錯性：對于流數據，經過系統處理后變丟棄，很難恢復數據流，因此需要保證數據源的可靠性處理。例如在分析攝像頭的視頻流的應用場景中，對于每個攝像頭抓取到的視頻幀的處理，要考慮到在有限的計算資源的情況下，如何能夠實現生產消費平衡，保證流數據處理的實時性，確保每一個數據都被處理好。現有典型的分布式流計算框架有Storm、Sparkstreaming、 Flink等，這些框架在分布式環境下的實時性和容錯性都很不錯，但是針對特定的業務場景，耦合度過高，增加開發維護成本，降低模塊間的異構性，且框架的代碼利用率低，造成一定的系統資源浪費。

在流式計算場景下，通用的流計算框架有相對笨重、耦合度高、異構性低的缺點。因此，現在亟需一種新的分布式流式計算框架來解決上述現有技術中存在的問題。

發明內容

為了解決上述問題，本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的一種主/從架構的低耦合的分布式流式計算框架。

第一方面本發明實施例提供一種主/從架構的低耦合的分布式流式計算框架，包括：

分布式服務環境、集群管理主節點、集群的工作從節點、集群的業務處理節點；

所述分布式服務環境用于存儲各個分布式節點的運行狀態、負載狀態以及任務執行狀態；

所述集群管理主節點用于管理集群節點的運行狀態，并向各個集群節點分發任務；

所述集群的工作從節點用于執行所述集群管理主節點分發的任務，并將任務執行的中間結果在Kafka中緩存；

所述集群的業務處理節點用于消費Kafka中產生的消息，并得到業務結果。

其中，所述主/從架構的低耦合的分布式流式計算框架還包括：

API網關節點，所述API網關節點用于為外部提供API服務或者 WebSocket服務。

其中，所述API網關節點采用了SSL加密和標準的RestfulAPI的方式來保證結果的安全獲取。

其中，所述分布式服務環境包括：