[發明專利]流計算系統及其數據處理方法、電子設備及介質

有效

• 申請號: 202110034409.5
• 申請日: 2021-01-12
• 公開（公告）號: CN112364063B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 趙沖;趙自波;李青龍;駱飛
• 申請（專利權）人: 北京智慧星光信息技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2453;G06F9/50;G06F9/54
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張超艷;董永輝

本發明提供一種流計算系統及其數據處理方法、電子設備及介質，流計算系統包括流計算引擎和數據接入層，所述數據接入層包括時效隊列和堆積隊列，所述流計算引擎包括時效數據流圖和堆積數據流圖，數據接入層接收數據源的數據，檢查時效隊列中緩存的數據長度，如果時效隊列還有剩余空間，數據直接入隊到時效隊列；如果時效隊列沒有剩余空間，數據直接入隊到堆積隊列；所述時效數據流圖消費時效隊列的數據，所述堆積數據流圖消耗堆積隊列的數據。本發明使流計算引擎同時具有時效敏感和抗堆積特性。

技術領域

本發明涉及數據處理技術領域，更為具體地，涉及一種流計算系統及其數據處理方法、電子設備及計算機可讀存儲介質。

背景技術

流計算是一種廣范應用于實時大數據處理的計算模型。流計算模型將數據源看作在時間分布和數量上無限的流的形式，數據源源不斷的持續生成，并隨著時間的流逝價值逐漸降低。流計算模型中，不同算子以有向無環圖（DAG）的形式串聯到一起，從上到下依次處理流入的數據。

當前主流的流計算引擎（如Flink），同一算子以多實例的方式并行處理數據，不同算子以遠程調用（RPC）的方式連接，加之數據緩沖池、流水線化等機制，最大化利用計算資源，提升計算能力。然而，不同算子處理數據時能承載的最大吞吐量是不同的，當下游算子的吞吐量小于上游時，下游算子的數據緩沖池就會出現數據堆積。為了防止數據堆積過大造成系統崩潰，流計算引擎一般會引入反壓機制，通過降低上游算子的吞吐量來平衡上下游算子的數據通過量。因此，當輸入流計算引擎的數據源出現數據洪峰時，數據到達量大于數據通過量，系統將進入反壓狀態，對計算的時效性產生嚴重影響。

發明內容

鑒于上述問題，本發明提供一種流計算系統及其數據處理方法、電子設備及計算機可讀存儲介質，其目的在于新的數據源接入方法，使流計算引擎即使處于反壓狀態也具有時效敏感性，同時且有抗數據堆積能力。

為了實現上述目的，本發明提供一種流計算系統包括流計算引擎和數據接入層，所述數據接入層包括時效隊列和堆積隊列，所述流計算引擎包括時效數據流圖和堆積數據流圖，數據接入層接收數據源的數據，檢查時效隊列中緩存的數據長度，如果時效隊列還有剩余空間，數據直接入隊到時效隊列；如果時效隊列沒有剩余空間，數據直接入隊到堆積隊列；所述時效數據流圖消費時效隊列的數據，所述堆積數據流圖消耗堆積隊列的數據。

可選地，所述數據接入層還包括判斷模塊，通過判斷時效隊列是否達到了設定的固定最大長度來判斷時效隊列是否還有剩余空間。

可選地，所述時效數據流圖按照吞吐量配置計算資源。

進一步地，所述時效隊列的容量通過數據在時效隊列中的最長停留時間和消費時效隊列的時效數據流圖的吞吐量確定。

可選地，所述流計算引擎還包括：

采集模塊，采集每天時效隊列和堆積隊列的數據流入的峰值；

吞吐量獲得模塊，通過上一天的時效隊列和堆積隊列的數據流入的峰值分別設定時效數據流圖和堆積數據流圖的最大計算吞吐量，一天的時效數據流圖的最大計算吞吐量不小于上一天的時效隊列的數據流入的峰值，一天的堆積數據流圖的最大計算吞吐量不小于上一天的堆積隊列的數據流入的峰值。

可選地，所述流計算引擎還包括調整模塊，調整消費堆積隊列的堆積數據流圖的計算資源配置，從而動態調整流計算系統的通過流量上限。

為了實現上述目的，本發明還提供一種利用流計算系統的數據處理方法，包括：

構建連接數據源和流計算系統的流計算引擎的數據接入層，所述數據接入層包括時效隊列和堆積隊列，所述流計算引擎包括時效數據流圖和堆積數據流圖；

通過數據接入層接收數據源的數據；

檢查數據接入層的時效隊列中緩存的數據長度；