[發明專利]一種流數據的分布式動態處理方法

有效

• 申請號: 201810006502.3
• 申請日: 2018-01-04
• 公開（公告）號: CN108228356B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 吳松;劉志毅;金海;陳飛
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 何志欣;侯越玲

1.一種流數據的分布式動態處理方法，其特征在于，所述方法至少包括：

分析并預測用戶流數據處理程序數據中至少一個數據特征塊的執行模式，

基于流數據的平均排隊時延的大小以及排隊時延的閾值來動態調整所述執行模式，和

基于所述執行模式處理對應的至少一個所述數據特征塊；

其中，所述分析并預測用戶流數據處理程序數據中至少一個數據特征塊的執行模式的步驟包括：

將用戶的至少一步操作整合成完整的操作鏈，以確定用戶的操作邏輯；

根據用戶所調用的API函數以及初步的操作鏈結構將所述完整的操作鏈切分成至少一個數據特征塊，

判斷所述數據特征塊的邏輯特征并根據所述邏輯特征選擇執行模式，生成“特征塊ID-執行模式”列表，和

基于所述“特征塊ID-執行模式”列表將數據特征塊映射到相應的執行模式以執行數據特征塊對應的部分程序；

所述執行模式的動態調整步驟包括：

統計分布式流數據集群中至少一個節點的當前狀態數據，

基于所述當前狀態數據調整所述執行模式為：

其中，T_up為所述排隊時延的上閾值，T_down為所述排隊時延的下閾值，g_x為第x個操作數據放大量，

m為平均輸入數據量，n為平均輸出數據量。

2.如權利要求1所述的流數據的分布式動態處理方法，其特征在于，所述上閾值T_up和下閾值T_down的確定方式為：

其中，T是用戶的服務等級協議設定的標準時間，α是用戶設定的系統最大寬容度。

3.如權利要求2所述的流數據的分布式動態處理方法，其特征在于，所述執行模式的動態調整步驟還包括：

采用“暫停-調整-運行”方式動態調整所述執行模式，其中，

所述“暫停-調整-運行”方式包括：

在將數據源的流數據緩存于數據緩沖區內的同時調整所述執行模式，

基于調整后的執行模式對所述數據緩存區內的流數據進行處理。

4.如權利要求3所述的流數據的分布式動態處理方法，其特征在于，所述方法還包括：

以建立緩存數據的方式恢復失效節點的數據，和/或

基于氣球模型來動態調整節點數量以達到負載平衡。

5.如權利要求4所述的流數據的分布式動態處理方法，其特征在于，所述執行模式的動態調整的步驟還包括：

基于執行模式轉換指令暫停所述數據特征塊的數據輸入，并且將所述數據特征塊內接受的數據處理完成，

將待發送至所述數據特征塊的數據導向數據緩沖區來進行緩存并調整數據特征塊的執行模式，

所述數據特征塊在調整恢復狀態從所述緩沖區獲取數據進行處理，和

在所述緩沖區的數據處理完成后恢復所述數據特征塊的數據輸入。

6.如權利要求5所述的流數據的分布式動態處理方法，其特征在于，所述基于氣球模型來動態調整節點數量以達到負載平衡的步驟包括：

所述數據特征塊設置有用于調整數據需求的氣球模型，

所述氣球模型基于所述數據特征塊的當前狀態調整充氣狀態和/或放氣狀態，

所述氣球模型在充氣狀態下增加所述數據特征塊的數據分配量，和/或

所述氣球模型在放氣狀態下收回多余的所述數據特征塊的數據，并將收回的所述數據特征塊的數據分入資源池以重新分配。

7.一種流數據的分布式動態處理系統，其特征在于，所述系統至少包括調度單元、數據接收單元和執行單元，

所述調度單元分析并預測所述數據接收單元接收的用戶流數據處理程序數據中至少一個數據特征塊的執行模式，并且

基于流數據的平均排隊時延的大小以及排隊時延的閾值來動態調整所述執行模式，

所述執行單元基于所述執行模式處理對應的至少一個所述數據特征塊。

8.如權利要求7所述的流數據的分布式動態處理系統，其特征在于，所述調度單元包括中央調度器、流水線模式調度器和微批模式調度器，

所述中央調度器對所述執行模式的動態調整步驟包括：

統計分布式流數據集群中至少一個節點的當前狀態數據，

基于所述當前狀態數據調整所述執行模式為：

其中，T_up為所述排隊時延的上閾值，T_down為所述排隊時延的下閾值，g_x為第x個操作數據放大量，

m為平均輸入數據量，n為平均輸出數據量，

所述流水線模式調度器和所述微批模式調度器分別對分配的數據進行相應處理。