[發明專利]動態全局限流的方法和裝置

在審

• 申請號: 202010181850.1
• 申請日: 2020-03-16
• 公開（公告）號: CN111786895A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張濤;張峻浩;姜波
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L12/801
• 分類號: H04L12/801;G06F9/50
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;張效榮

本發明公開了動態全局限流的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：獲取服務器集群中各個服務器在當前時間窗內的請求處理數據；根據各個服務器在當前時間窗內的請求處理數據，確定服務器集群在下一個時間窗內的總限流閾值、以及各個服務器的資源分配比例；根據總限流閾值和各個服務器的資源分配比例，確定各個服務器在下一個時間窗內的限流閾值；根據各個服務器在下一個時間窗內的限流閾值對各個服務器執行限流操作。該實施方式能夠根據服務器集群中各個服務器的請求處理數據自動調整服務器集群的總限流閾值和各個服務器的限流閾值，大大提高限流效果。

技術領域

本發明涉及計算機技術領域，尤其涉及一種動態全局限流的方法和裝置。

背景技術

一個后臺系統的處理能力是有限的。當請求量陡增或某個內部子系統出現問題時，系統性能及穩定性通常會大幅下降，甚至發生連鎖反應，導致整個系統進入不可用狀態。為了保障系統可用性，一個必要的措施是對收到的請求進行限流處理，避免系統被短時間內大幅流量波動所影響。

現有的全局限流一般是基于分布式緩存中設置計數器實現的固定閾值的限流，不能根據系統的情況自動調整限流閾值。

發明內容

有鑒于此，本發明實施例提供一種動態全局限流的方法和裝置，能夠根據服務器集群中各個服務器的請求處理數據自動調整服務器集群的總限流閾值和各個服務器的限流閾值，大大提高限流效果。

為實現上述目的，根據本發明實施例的一個方面，提供了一種動態全局限流的方法，包括：

獲取服務器集群中各個服務器在當前時間窗內的請求處理數據；

根據所述各個服務器在當前時間窗內的請求處理數據，確定所述服務器集群在下一個時間窗內的總限流閾值、以及所述各個服務器的資源分配比例；根據所述總限流閾值和所述各個服務器的資源分配比例，確定所述各個服務器在下一個時間窗內的限流閾值；

根據所述各個服務器在下一個時間窗內的限流閾值對所述各個服務器執行限流操作。

可選地，所述請求處理數據包括：第一平均響應時間、第一請求總數、第一超時請求數、第一丟棄請求數；

根據所述各個服務器在當前時間窗內的請求處理數據，確定所述服務器集群在下一個時間窗內的總限流閾值，包括：

根據所述各個服務器在當前時間窗內的第一平均響應時間、第一請求總數、第一超時請求數、第一丟棄請求數，確定所述服務器集群在當前時間窗內的第二平均響應時間、第二請求總數、第二超時請求數、第二丟棄請求數；

根據所述服務器集群在當前時間窗內的第二平均響應時間、第二請求總數、第二超時請求數、第二丟棄請求數，確定所述服務器集群在下一個時間窗內的總限流閾值。

可選地，根據所述服務器集群在當前時間窗內的第二平均響應時間、第二請求總數、第二超時請求數、第二丟棄請求數，確定所述服務器集群在下一個時間窗內的總限流閾值，包括：

判斷第二超時請求數是否為零；

若第二超時請求數不為零，則：確定第二請求總數與第二超時請求數之間的差值與第二請求總數的比值，以所述比值與所述服務器集群在前一個時間窗內的總限流閾值之間的乘積作為所述服務器集群在下一個時間窗內的總限流閾值；

若第二超時請求數為零，則判斷第二丟棄請求數是否為零；若是，則以所述服務器集群在前一個時間窗內的總限流閾值作為所述服務器集群在下一個時間窗內的總限流閾值；否則，根據預設擴大因子確定擴大系數，以所述擴大系數與所述服務器集群在前一個時間窗內的總限流閾值之間的乘積作為所述服務器集群在下一個時間窗內的總限流閾值。