[發明專利]一種數據分發策略的調整方法、裝置及系統

有效

• 申請號: 201410062625.0
• 申請日: 2014-02-24
• 公開（公告）號: CN103873380B
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 王瀾;智偉;張克星
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/813
• 分類號: H04L12/813
• 代理公司: 北京三高永信知識產權代理有限責任公司11138
• 代理人: 黃厚剛

技術領域

本發明涉及數據處理領域，特別涉及一種數據分發策略的調整方法、裝置及系統。

背景技術

流處理的處理模式將數據視為流，源源不斷的數據組成了數據流。當新的數據到來時就立刻處理并返回所需的結果。流處理系統則是利用該模式，能夠處理大數據量、產生實時、低延遲的響應的數據處理系統。現有的流處理系統，由用戶事先確定數據分發策略、定義拓撲圖、設置若干個功能不同的后處理單元，完成特定的業務。為了提高系統的并發性，用戶需要在設計拓撲圖時對各后處理單元進行拷貝或設置各后處理單元的個數，由于現有技術中沒有在流數據進行過程中數據分發策略的調整方法，因此后處理單元的數量在流處理業務運行過程中不可改變。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

由于后處理單元的數量由用戶在設計時設定，在流處理系統運行過程中不可改變，而在流處理系統運行的過程中，數據的輸入量是動態變化的，因此當某一時間段內的數據輸入量大時，設計時期確定的后處理單元的并發數不足以處理當前的大數據量，從而影響的系統的吞吐量；而當某一時間段內的數據量小時，設計時期確定的后處理單元的數過多，占用了過多的系統資源，造成了資源的浪費。如果要調整后處理單元數量需要將現有運行拓撲停止運行，修改并發參數，調整數據分發策略，并重新提交業務拓撲，這樣導致業務中斷，影響業務體驗。

發明內容

為了解決已有技術的問題，本發明實施例提供了一種數據分發策略的調整方法、裝置及系統。所述技術方案如下：

第一方面，提供了一種數據分發策略的調整方法，用于處理流處理系統中的流處理業務的數據，所述流處理系統包括控制裝置及至少一個工作裝置，每個工作裝置設置多個后處理單元對接收到的流處理業務的數據進行并行處理，所述方法包括：所述控制裝置獲取各所述每個工作裝置的資源使用報告；所述控制裝置根據所述每個工作裝置的資源使用報告及預設的策略，確定處理單元調整策略所述處理單元調整策略包括增加后處理單元數量或者減少后處理單元數量；所述控制裝置從所述至少一個工作裝置中選擇至少一個工作裝置作為所述處理單元調整策略的執行者；所述控制裝置生成包括所述處理單元調整策略的調整指示，并將所述調整指示發送所述被選擇的至少一個工作裝置，以使得所述被選擇的至少一個工作裝置執行所述調整策略。

結合第一方面，在第一方面的第一種可能的實現方式中，所述預設的策略包括：當至少一個工作裝置的資源使用報告中的指定參數超過指定閾值時，增加后處理單元的數量；或者，當至少一個工作裝置的資源使用報告中的指定參數低于指定閾值時，減少后處理單元的數量；其中，所述資源使用報告中的指定參數，包括如下一個或多個參數：CPU使用率、內存使用率、吞吐量或事件延遲時間。

結合第一方面，在第一方面的第二種可能的實現方式中，所述方法還包括：所述被選擇的至少一個工作裝置接收所述調整指示；所述被選擇的至少一個工作裝置根據所述調整指示包含的處理單元調整策略，增加或者減少自身設置的后處理單元的數量。

結合第一方面、第一方面的第一種、第二種或第三種可能的視線方式，在第一方面的第三種可能的實現方式中，被選擇的至少一個工作裝置根據所述調整指示包含的處理單元調整策略，增加或者減少自身設置的后處理單元的數量，包括：所述被選擇的至少一個工作裝置根據處理單元增加策略，創建并啟動新的后處理單元；或者，所述被選擇的至少一個工作裝置根據處理單元減少策略，銷毀指定的后處理單元。

結合第一方面的第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述被選擇的至少一個工作裝置根據處理單元增加策略，創建并啟動新的后處理單元，包括：所述被選擇的至少一個工作裝置確定已創建的后處理單元的窗口類型；若所述已創建的后處理單元包含滾動窗口，創建并啟動包含滾動窗口的新的后處理單元，若所述已創建的后處理單元包含滑動窗口，創建并啟動包含滑動窗口的新的后處理單元。

結合第一方面的第四種可能的實現方式，在第一方面的第五種可能的實現方式中，所述被選擇的至少一個工作裝置和/或未被選擇的工作裝置上還設置先處理單元，所述方法還包括：所述先處理單元更新與其相關的后處理單元的信息；所述先處理單元根據所述更新后的后處理單元的信息，確定新的分發策略，所述新的分發策略用于指示所述先處理單元將所述流處理業務的數據分發到已創建的后處理單元及所述新的后處理單元。