[發明專利]一種面向實時流計算的動態逐級反壓方法

有效

• 申請號: 201710140963.5
• 申請日: 2017-03-10
• 公開（公告）號: CN107040476B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 陸佳煒;陳烘;馬俊;肖剛;張元鳴;高飛;李杰;盧成炳
• 申請（專利權）人: 浙江工業大學
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L12/24;G06F9/52
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種面向實時流計算的動態逐級反壓方法，其特征在于：包括以下步驟：

步驟(1)遍歷當前需要進行反壓的任務Task集合Ti；

步驟(2)若Ti為空，則結束，否則Ti取出下一個Taski并將其從Ti中移除；

步驟(3)判斷Taski是否處于過載，若是進行步驟(4)，否則進行步驟(9)；

步驟(4)獲取Taski的上游節點集合U；

步驟(5)判斷U是否為空，若為空則返回步驟(2)，否則U取出下一個Ui并將其從U中移除，并進行步驟(6)；

步驟(6)判斷Ui節點是否正在進行反壓，若是返回步驟(5)，否則進行步驟(7)～(8)；

步驟(7)Ui節點的發射速度降為當前的V’，V’為系統預設的反壓梯值；若Ui是第一次反壓，則記錄Ui的初始速度originV，并保存到Ui本地；

步驟(8)Ui節點將自身反壓狀態設置為True，返回步驟(5)；

步驟(9)判斷Taski是否負載過輕且持續sentivity，若是則進行步驟(10)，否則進行步驟(2)，sentivity為系統預設的敏感度值；

步驟(10)獲取Taski的上游節點集合U；

步驟(11)若U為空，返回步驟(2)，否則U取出下一個節點Ui并將其從U中移除；

步驟(12)判斷Ui節點是否處于反壓狀態，若反壓狀態為True，則進行步驟(13)，否則返回步驟(11)；

步驟(13)Ui節點的發射速度降為當前的1/V’；

步驟(14)判斷Ui是否恢復到最初始的速度originV，若是則進行步驟(15)，否則進行步驟(11)；

步驟(15)Ui節點將自身反壓狀態設置為False，返回步驟(11)；

所述步驟(7)的過程如下：

7.1)將反壓信號和Ui的taskid發送到send-queue隊列，taskid是節點的唯一標識；

7.2)znode-create-handler線程獲得send-queue的反壓信號和taskid，根據消息內容在Zookeeper的/taskmessage目錄下創建文件節點；

7.3)znode-delete-handler線程監聽/taskmessage目錄的文件節點，從文件節點內容讀取反壓信號和taskis并發送到trigger-queue隊列，然后將該文件節點刪除；

7.4)Ui訂閱到trigger-queue，獲取并刪除與自身taskid相同的反壓信號；

7.5)Ui節點的發射速度降為當前的V’，V’為系統預設的反壓梯值；若是Ui第一次反壓，則記錄Ui的初始速度originV，并保存到Ui本地；

所述步驟(13)的過程如下：

13.1)將取消反壓信號和Ui的taskid發送到send-queue隊列；

13.1)znode-create-handler線程獲得send-queue的取消反壓信號和taskid，根據消息內容在Zookeeper的/taskmessage目錄下創建文件節點；

13.2)znode-delete-handler線程監聽/taskmessage目錄的文件節點，從文件節點內容讀取反壓信號和taskis并發送到trigger-queue隊列，然后將該文件節點刪除；

13.3)Ui訂閱到trigger-queue，獲取并刪除與自身taskid相同的取消反壓信號；

13.4)Ui節點的發射速度降為當前的1/V’。