[發明專利]一種高吞吐量流處理方法及裝置

在審

• 申請號: 202010610083.1
• 申請日: 2020-06-29
• 公開（公告）號: CN113934531A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 劉土明
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 薛祥輝

1.一種高吞吐量流處理方法，包括：數據接收線程判斷當前數據內存緩存的剩余緩存空間是否大于預設閾值，若是，則將接收到的數據緩存到所述內存緩存中，否則，將接收到的數據保存到本地硬盤；

數據處理線程從所述內存緩存中獲取數據，對獲取到的數據進行計算處理。

2.如權利要求1所述的高吞吐量流處理方法，其特征在于，還包括：構建bolt模型，所述bolt模型包括：數據接收bolt模型，數據處理bolt模型，數據發送bolt模型；所述數據接收bolt模型用于接收數據發送bolt模型發送的數據消息，所述數據處理bolt模型用于從數據接收bolt模型中獲取數據，并進行計算處理；

根據構建的bolt模型建立線程池，所述線程池包括：數據接收線程、數據處理線程、數據發送線程；所述數據接收線程用于接收數據發送線程發送數據消息，所述數據處理線程用于從所述數據接收線程中獲取數據進行計算處理；

按照預設比例配置所述數據接收線程和所述數據處理線程的比例。

3.如權利要求2所述的高吞吐量流處理方法，其特征在于，所述數據發送線程利用spout從實時隊列獲取數據，并根據規則將獲取到的數據發送給數據接收線程。

4.如權利要求3所述的高吞吐量流處理方法，其特征在于，所述數據接收線程將接收到的數據按照預設的規則進行分組后，判斷當前數據內存緩存的剩余緩存空間是否大于預設閾值，若是，則將接收到的數據插入到所述內存緩存的數據列表中，否則，將接收到的數據保存到本地硬盤中。

5.如權利要求4所述的高吞吐量流處理方法，其特征在于，所述數據接收線程動態計算接收到的數據需要處理的時間，根據計算出的數據處理時間動態調整數據緩存的粒度。

6.如權利要求5所述的高吞吐量流處理方法，其特征在于，所述數據接收線程實時掃描所述本地硬盤和所述內存緩存中的數據緩存情況，若所述本地硬盤中存在數據，所述內存緩存的剩余緩存空間大于預設閾值，則將所述本地硬盤中的數據緩存到內存緩存中。

7.如權利要求1-6任一項所述的高吞吐量流處理方法，其特征在于，所述數據處理線程從所述內存緩存中獲取數據，對獲取到的數據進行計算處理包括：

所述數據處理線程根據預設時間間隔從所述內存緩存中獲取一組tuple數據進行計算處理。

8.如權利要求7所述的高吞吐量流處理方法，其特征在于，若所述數據處理線程未從所述內存緩存中獲取到數據，則進入預設時間的睡眠狀態。

9.一種高吞吐量流處理裝置，包括：數據接收模塊，數據處理模塊；

所述數據接收模塊，用于接收數據并判斷當前數據內存緩存的剩余緩存空間是否大于預設閾值，若是，則將接收到的數據緩存到所述內存緩存中，否則，將接收到的數據保存到本地硬盤中。

所述數據處理模塊，用于從所述內存緩存中獲取數據，并對獲取到的數據進行計算處理。

10.如權利要求9所述的高吞吐量流處理裝置，其特征在于，還包括：創建模塊，所述創建模塊用于構建bolt模型；所述bolt模型包括：數據接收bolt模型，數據處理bolt模型，數據發送bolt模型；所述數據接收bolt模型用于接收數據發送bolt模型發送的數據消息，所述數據處理bolt模型用于從數據接收bolt模型中獲取數據，并進行計算處理；

所述創建模塊還用于根據構建的bolt模型建立線程池，所述線程池包括：數據接收線程、數據處理線程、數據發送線程；所述數據接收線程用于接收數據發送線程發送數據消息，所述數據處理線程用于從所述數據接收線程中獲取數據進行計算處理；

配置模塊，所述配置模塊用于根據預設比例配置所述數據接收線程和所述數據處理線程的比例。

11.如權利要求10所述的高吞吐量流處理裝置，其特征在于，所述數據發送線程利用spout從實時隊列獲取數據，并根據規則將獲取到的數據發送給數據接收線程。