[發明專利]流式計算作業處理方法、流式計算系統及電子設備

有效

• 申請號: 202010074558.X
• 申請日: 2020-01-22
• 公開（公告）號: CN111290744B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 袁尤軍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/41;G06F9/54
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

本申請公開了一種流式計算作業處理方法、流式計算系統及電子設備，所述方法包括:獲取流式計算作業；以進程方式運行所述流式計算作業，所述流式計算作業包括至少一個進程。將流式計算作業直接以進程的方式運行，與現有技術中將流式計算作業采用如Master/Worker結構的并行處理方式相比，可避免并行處理方式存在的資源消耗較大的問題，能夠使流式計算系統的資源消耗大大降低，尤其適用于作業數量有限且計算能力受限的場景。

技術領域

本申請涉及數據處理技術領域，尤其涉及云計算技術領域，具體涉及一種流式計算作業處理方法、流式計算系統及電子設備。

背景技術

流式計算技術是指對持續產生的數據流進行實時的處理，相比批處理計算，流式計算的時效性更高。隨著互聯網技術的不斷深入變革，以邊緣計算等技術為代表的計算領域通常計算資源受限，對資源消耗提出更加苛刻的要求。

目前，以Apache?Storm/Spark/Flink為代表的開源流式計算系統已經得到長足的發展，他們在流式計算作業的處理上通常采用并行處理方式處理流式計算作業，如Master/Worker的結構中，Master負責作業的接受、調度和監控；Worker負責作業的運行和狀態的匯報等工作，Master和Worker并行處理，系統資源消耗較大。

可見，現有的流式計算作業處理方法存在資源消耗較大的問題。

發明內容

本申請的實施例提供一種流式計算作業處理方法、流式計算系統及電子設備，以解決現有技術中流式計算作業處理方法存在資源消耗較大的問題。

為解決上述技術問題，本申請是這樣實現的：

第一方面，本申請的實施例提供一種流式計算作業處理方法，所述方法包括以下步驟：

獲取流式計算作業；

以進程方式運行所述流式計算作業，所述流式計算作業包括至少一個進程。

因為采用上述技術手段，將流式計算作業直接以進程的方式運行，與現有技術中將流式計算作業采用如Master/Worker結構的并行處理方式相比，可避免并行處理方式存在的資源消耗較大的問題，能夠使流式計算系統的資源消耗大大降低，尤其適用于作業數量有限且計算能力受限的場景。

可選的，在所述獲取流式計算作業之前，所述方法還包括：

接收云端服務器發送的流式計算作業，所述流式計算作業由所述云端服務器生成。

該實施方式中，將流式計算作業的生成環境和運行環境分離。云端服務器對持續產生的流式計算作業進行編譯，而系統則可直接運行編譯完成的流式計算作業，提高了系統處理流式計算作業的效率，同時降低了系統資源消耗。

可選的，所述以進程方式運行所述流式計算作業，包括：

以編譯型語言作為實現語言，以進程方式運行所述流式計算作業。

進一步的，所述編譯型語言包括Golang語言。

本實施例中，以編譯型語言如Golang語言作為實現語言，完成對流式計算作業的編譯，不依賴于其他模塊或者基礎環境，流式計算作業處理效率更高，同時編譯型語言可直接產出可執行代碼，減少了編譯時的不必要的操作，進一步降低系統資源消耗。

可選的，所述流式計算作業包括多個進程；

所述以進程方式運行所述流式計算作業，包括：

為所述流式計算作業的不同進程分別分配對應的運行資源；

在所述多個進程的運行資源下分別運行對應的進程，所述多個進程之間相互通信。

進一步的，所述多個進程之間基于進程間通信IPC相互通信。