[發明專利]一種服務限流方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111543395.6
• 申請日: 2021-12-16
• 公開（公告）號: CN114237888A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 吳華清;龐少軍
• 申請（專利權）人: 北京嘉和美康信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 張萍

本申請提供了一種服務限流方法、裝置、電子設備及存儲介質，涉及計算機技術領域，具體為：獲取當前輪數的系統處理數；判斷當前輪數的系統處理數是否小于上一輪數的系統處理數；如果為是，根據預設的LRU隊列確定下一輪數的閾值；所述LRU隊列記錄了當前輪數之前的多個輪數的系統處理數；否則，根據當前輪數的系統處理數，確定下一輪數的閾值；根據所述下一輪數的閾值，執行限流操作。本申請實施例通過動態閾值實現限流，能夠最大程度地提高系統的吞吐量。

技術領域

本申請涉及計算機技術領域，尤其是涉及一種服務限流方法、裝置、電子設備及存儲介質。

背景技術

目前信息化技術的不斷發展，信息技術滲透到各行各業，隨著時間的推移，用戶群體和數據的體量將會越來越大，這給大量數據高效穩定的處理和傳輸帶來了新的挑戰，同時應用場景也更加的復雜；應對大量并發數據的處理，多線程，集群或者分布式架構是比較成熟的解決方案，基本都會采取限流操作從而讓服務穩定運行。

限流能讓服務變的更加穩定，但是卻帶來了降低系統吞吐量的弊端。比如一個應用服務器，在繁忙時每秒查詢率(QPS，Queries-per-second)為1000，在另外一個時間空閑段QPS為3000，限流設置為了讓系統穩定發揮服務，會設置QPS為1000，這使得在QPS為3000的時間段只能提供QPS為1000的服務能力；如何解決既能限流，但是又能提高系統吞吐量，是非常重要的技術問題。

現有的限流算法策略，采取的是一定時間內服務處理數量與閾值比較方式，且閾值不可變，在服務器資源充足時，閾值的恒定不變會損耗掉部分的性能，降低系統吞吐量；同時，若采用額外的服務器緩存開銷，則會增加成本。

發明內容

有鑒于此，本申請提供了一種服務限流方法、裝置、電子設備及存儲介質，以解決現有技術中采用固定閾值限流存在的系統吞吐量降低的技術問題。

一方面，本申請實施例提供了一種服務限流方法，包括：

獲取當前輪數的系統處理數；

判斷當前輪數的系統處理數是否小于上一輪數的系統處理數；

如果為是，根據預設的LRU隊列確定下一輪數的閾值；所述LRU隊列記錄了當前輪數之前的多個輪數的系統處理數；

否則，根據當前輪數的系統處理數，確定下一輪數的閾值；

根據所述下一輪數的閾值，執行限流操作。

進一步的，獲取當前輪數的系統處理數之后還包括：判斷當前輪數的系統處理數是否不大于當前輪數的閾值，如果為是，則執行限流操作。

進一步的，根據預設的LRU隊列確定下一輪數的閾值，包括：

獲取LRU隊列中的所有元素值，其中，LRU隊列中的一個元素為上一輪數的系統處理數；

計算LRU隊列中的所有元素值的平均值；

將平均值作為下一輪數的閾值。

進一步的，根據當前輪數的系統處理數，確定下一輪數的閾值，包括：將下一輪數的閾值設置為當前輪數的系統處理數的2倍。

進一步的，根據所述下一輪數的閾值，執行限流操作之前還包括：

根據LRU算法，淘汰一個LRU隊列的元素，并將當前輪數的系統處理數加入LRU隊列。

進一步的，所述LRU隊列的長度是可變的。

另一方面，本申請實施例提供了一種服務限流裝置，包括：

獲取單元，用于獲取當前輪數的系統處理數；