[發明專利]大數據處理系統及方法、電子設備、存儲介質

在審

• 申請號: 201810343585.5
• 申請日: 2018-04-17
• 公開（公告）號: CN110389785A
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 馬麗偉;李卓嘉;李勝;吳昊挺;施洪云;梁勇;王棟棟
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/50
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

本公開是關于一種大數據處理系統及方法、電子設備、存儲介質，涉及數據處理技術領域，該方法包括：數據接收單元，用于通過基于預設系統的集群實例的監聽器接收業務數據；數據轉發單元，用于對接收到的所述業務數據根據轉發策略轉發至所述集群實例的分布式組件或下級集群實例；業務處理單元，用于通過所述集群實例的分布式組件對接收到的所述業務數據進行處理，以生成中間數據；數據發送單元，用于根據轉發策略將所述中間數據發送至所述集群實例的所述分布式組件或所述下級集群實例，以進行數據處理。本公開可以更容易地維護數據系統，提高數據處理系統的可靠性。

技術領域

本公開涉及數據處理技術領域，具體而言，涉及一種大數據處理系統、大數據處理方法、電子設備以及計算機可讀存儲介質。

背景技術

在DDos((Distributed Denial of Service，分布式拒絕服務)防護流量分析場景中，通常會基于開源的Storm、Spark等組件進行實時數據大流量數據分析處理。

相關技術中，一般會基于分布式組件JobBolt組織業務處理拓撲；然后采用流式處理框架根據Etcd集群實例注冊信息和JobBolt生成路由算法；集群實例在監聽到數據時，根據數據路由信息，交付第一階段JobBolt處理；業務數據在本階段JobBolt處理完成后，根據路由信息交付下一階段的JobBolt處理。

但是，上述方式中，開源Storm、Spark等實時數據處理系統體量較大，耗費物理資源較多，因此不易于維護；除此之外，由于數據負載不平衡，可能導致系統異常，進而對數據處理造成較大影響，降低數據處理系統的可靠性。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種大數據處理系統及方法、電子設備、存儲介質，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的數據處理系統不易維護的問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種大數據處理系統，包括：數據接收單元，用于通過基于預設系統的集群實例的監聽器接收業務數據；數據轉發單元，用于將接收到的所述業務數據根據轉發策略轉發至所述集群實例的分布式組件或下級集群實例；業務處理單元，用于通過所述集群實例的分布式組件對接收到的所述業務數據進行處理，以生成中間數據；數據發送單元，用于根據轉發策略將所述中間數據發送至所述集群實例的所述分布式組件或所述下級集群實例，以進行數據處理。

在本公開的一種示例性實施例中，所述數據發送單元包括：第一發送子單元，用于根據所述路由算法將所述中間數據發送至所述集群實例的分布式組件。

在本公開的一種示例性實施例中，所述數據發送單元包括：第二發送子單元，用于通過第一接口將所述中間數據發送至所述下級集群實例的所述監聽器。

在本公開的一種示例性實施例中，所述系統還包括：信息維護單元，用于通過Ectd集群對所述集群實例建立服務發現機制，并通過所述服務發現機制維護所述集群實例的路由信息和轉發策略。

在本公開的一種示例性實施例中，所述信息維護單元包括：維護控制子單元，用于控制第二接口根據業務拓撲信息、轉發策略以及所述集群實例對所述路由信息進行維護。

在本公開的一種示例性實施例中，所述系統還包括：狀態監測單元，用于通過第三接口實時監測和統計所述集群實例的狀態。

在本公開的一種示例性實施例中，所述方法還包括：有向圖生成單元，用于控制第四接口根據所述業務拓補信息生成數據有向圖。