[發明專利]大數據處理系統及方法、電子設備、存儲介質

在審

• 申請號: 201810343585.5
• 申請日: 2018-04-17
• 公開（公告）號: CN110389785A
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 馬麗偉;李卓嘉;李勝;吳昊挺;施洪云;梁勇;王棟棟
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/50
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

1.一種大數據處理系統，其特征在于，包括：

數據接收單元，用于通過基于預設系統的集群實例的監聽器接收業務數據；

數據轉發單元，用于將接收到的所述業務數據根據轉發策略轉發至所述集群實例的分布式組件或下級集群實例；

業務處理單元，用于通過所述集群實例的分布式組件對接收到的所述業務數據進行處理，以生成中間數據；

數據發送單元，用于根據轉發策略將所述中間數據發送至所述集群實例的所述分布式組件或所述下級集群實例，以進行數據處理。

2.根據權利要求1所述的大數據處理系統，其特征在于，所述數據發送單元包括：

第一發送子單元，用于根據所述路由算法將所述中間數據發送至所述集群實例的分布式組件。

3.根據權利要求1所述的大數據處理系統，其特征在于，所述數據發送單元包括：

第二發送子單元，用于通過第一接口將所述中間數據發送至所述下級集群實例的所述監聽器。

4.根據權利要求1所述的大數據處理系統，其特征在于，所述系統還包括：

信息維護單元，用于通過Ectd集群對所述集群實例建立服務發現機制，并通過所述服務發現機制維護所述集群實例的路由信息和轉發策略。

5.根據權利要求4所述的大數據處理系統，其特征在于，所述信息維護單元包括：

維護控制子單元，用于控制第二接口根據業務拓撲信息、轉發策略以及所述集群實例對所述路由信息進行維護。

6.根據權利要求1所述的大數據處理系統，其特征在于，所述系統還包括：

狀態監測單元，用于通過第三接口實時監測和統計所述集群實例的狀態。

7.根據權利要求4所述的數據處理方法，其特征在于，所述方法還包括：

有向圖生成單元，用于控制第四接口根據所述業務拓補信息生成數據有向圖。

8.一種大數據處理方法，其特征在于，包括：

通過基于預設系統的集群實例的監聽器接收業務數據；

將接收到的所述業務數據根據轉發策略轉發至所述集群實例的分布式組件或下級集群實例；

通過所述集群實例的所述分布式組件對接收到的所述業務數據進行處理，以生成中間數據；

根據轉發策略將所述中間數據發送至所述集群實例的所述分布式組件或所述下級集群實例，以進行數據處理。

9.一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求8所述的大數據處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求8所述的大數據處理方法。