[發明專利]流計算任務的發布、輸出控制方法及裝置

在審

• 申請號: 202110820846.X
• 申請日: 2021-07-20
• 公開（公告）號: CN113434282A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 唐燁
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/54;G06F16/27
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供了流計算任務的發布、輸出控制方法及裝置。其中，流計算任務的發布方法，可以應用于發布服務端，包括：將待發布的流計算任務發送至計算集群，以使得流計算任務在計算集群的多個計算節點上試運行；接收該多個計算節點發送的節點信息；根據所接收的節點信息，將本地保存的流計算任務的任務配置信息的初始值同步至該多個計算節點，任務配置信息包括輸出閾值和存儲設備的設備信息，輸出閾值用于控制流計算任務輸出到存儲設備的數據比例；在流計算任務試運行期間，接收針對輸出閾值的調整指令；根據調整指令，修改本地保存的輸出閾值，并將修改后的輸出閾值同步至該多個計算節點。

技術領域

本說明書實施例涉及計算機技術領域，具體地，涉及流計算任務的發布方法及裝置、流計算任務的輸出控制方法及裝置。

背景技術

流計算一般是實時獲取來自不同數據源的海量數據，經過實時分析處理，獲得有價值的信息。

實踐中，流計算任務在開發完成后，需要提交到服務器集群去執行，其發布過程是一個耗時較長且存在風險的過程。每發布一次流計算任務，都會涉及到整個集群服務器節點的分配和調度，影響范圍較大，發布耗時較高。另外，流計算任務發布后的輸出數據會直接作用于下游，若數據不滿足預期，則可能會存在數據污染的風險。

目前，為了降低流計算任務發布后的數據輸出風險，一般需要先針對流計算任務進行1次或多次預發布，當驗證預發布的流計算任務的輸出數據滿足預期時，再下線預發布的流計算任務，然后針對流計算任務提交正式的發布流程。以上過程存在多次發布、多次部署的問題，整個發布流程變長，也增大了發布失敗的概率。

因此，迫切需要一種合理、可靠的方案，可以降低流計算任務的發布整體耗時，減少發布風險。

發明內容

本說明書實施例提供了流計算任務的發布方法及裝置、流計算任務的輸出控制方法及裝置，可以降低流計算任務的發布整體耗時，減少發布風險。

第一方面，本說明書實施例提供了一種流計算任務的發布方法，應用于發布服務端，包括：將待發布的流計算任務發送至計算集群，以使得所述流計算任務在所述計算集群的多個計算節點上試運行；接收所述多個計算節點發送的節點信息；根據所接收的節點信息，將本地保存的所述流計算任務的任務配置信息的初始值同步至所述多個計算節點，所述任務配置信息包括輸出閾值和存儲設備的設備信息，所述輸出閾值用于控制所述流計算任務輸出到所述存儲設備的數據比例；在所述流計算任務試運行期間，接收針對所述輸出閾值的調整指令；根據所述調整指令，修改本地保存的所述輸出閾值，并將修改后的所述輸出閾值同步至所述多個計算節點。

在一些實施例中，所述輸出閾值的初始值為第一預設值；以及所述方法還包括：當修改后的所述輸出閾值達到第二預設值時，確定所述流計算任務已正式發布。

在一些實施例中，所述方法還包括：在所述流計算任務試運行期間，從客戶端接收用戶針對所述流計算任務的輸出數據的數據預覽請求；根據所述數據預覽請求，向所述多個計算節點中的第一計算節點發送數據獲取請求；接收所述第一計算節點響應于所述數據獲取請求而返回的數據；將所接收的數據返回給所述客戶端。

在一些實施例中，在所述向所述多個計算節點中的第一計算節點發送數據獲取請求之前，還包括：采用負載均衡算法，根據所述多個計算節點的節點信息，從所述多個計算節點中選取一個計算節點作為第一計算節點。

在一些實施例中，所述負載均衡算法包括以下任一項：輪詢、加權輪詢、隨機、加權隨機、最小連接、一致性哈希。

在一些實施例中，所述接收針對所述輸出閾值的調整指令，包括：從所述客戶端接收用戶針對所述輸出閾值的調整指令，其中包括調整方向和步長值；所述根據所述調整指令，修改本地保存的所述輸出閾值，包括：在本地保存的所述輸出閾值上沿所述調整方向調整所述步長值。