[發明專利]基于接口響應時間趨勢的動態限流方法及計算機可讀介質

有效

• 申請號: 201810093219.9
• 申請日: 2018-01-31
• 公開（公告）號: CN110099009B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 周忠濤;徐偉;張曉寧
• 申請（專利權）人: 北京易真學思教育科技有限公司
• 主分類號: H04L12/819
• 分類號: H04L12/819;H04L12/853
• 代理公司: 北京律遠專利代理事務所(普通合伙) 11574
• 代理人: 丁清鵬

一種基于接口響應時間趨勢的動態限流方法及計算機可讀介質，該方法包括以下步驟：A、對于每個對接口的訪問請求，根據接口當前的限流狀態確定對該訪問請求執行排隊操作或放行操作，并在放行該訪問請求時將該請求的接口響應時間存入響應時間隊列；B、定時統計接口響應時間，根據接口響應時間趨勢確定是否對該接口開啟限流；C、執行限流期間，根據接口響應時間趨勢動態調整令牌桶算法生成的令牌數，實時調整放行請求數。通過將接口響應時間趨勢作為是否需要對接口進行限流的判斷依據，對接口進行訪問流量控制。在流量控制過程中完全無需人工干預，并能夠根據系統的負載狀態自動調整相關算法參數，達到更好的適用性。

所屬技術領域

本發明涉及網絡通信技術領域，尤其涉及一種基于接口的響應時間趨勢的動態限流方法。

背景技術

在互聯網通信領域，很多場景都需要對網絡請求的速率進行限制，避免大流量的沖擊使后端服務器產生故障，如雙十一搶購，12306搶票等場景。

在通信領域中，通常采用令牌桶算法來控制網絡通信的數據收發速率，在互聯網領域中，令牌桶算法也常被用來對網絡請求進行訪問頻率控制。圖1是采用傳統的令牌桶算法來進行限流的流程圖，服務器以設定的令牌產生速率來產生令牌，如果令牌桶未滿則放入令牌桶，如果令牌桶已滿則將新產生的令牌丟棄，其中，令牌桶具有設定的上限S；對于每個訪問接口的網絡請求，從令牌桶中消耗令牌數，允許對接口的訪問；如果獲取令牌成功則完成對接口的訪問，如果獲取令牌失敗則將該網絡請求丟棄或送入隊列排隊等待重新進行訪問。實際使用過程中，服務器的狀態受網絡環境、硬件變化等因素影響是在不停變化的，因此當面對大流量的訪問請求需要進行限流時采用固定參數的方式很難達到理想的限制效果，同時傳統的令牌桶算法需要人為來設定令牌桶的上限S以及令牌的產生速率，不能根據系統的實時情況進行自適應調整，缺乏靈活性。

發明內容

本發明旨在解決大流量環境下對服務器接口的流量控制，通過對常規令牌桶算法進行改進，提出一種基于響應時間趨勢的動態令牌桶算法，流量控制過程中無需人工干預，實現對服務器接口的自動流量管控。

本發明涉及一種基于接口響應時間變化趨勢來控制網絡請求的排隊和放行的流量控制方法。

本發明解決其技術問題所采用的技術方案包括兩方面：

一方面提供了一種基于接口響應時間趨勢的動態限流方法，包括：

A、對于每個對接口的訪問請求，根據接口當前的限流狀態確定對該訪問請求執行排隊操作或放行操作，并在放行該訪問請求時將該請求的接口響應時間存入響應時間隊列；

B、定時統計接口響應時間，根據接口響應時間趨勢和超時百分比確定是否對該接口開啟限流；

C、執行限流期間，根據接口響應時間趨勢動態調整令牌桶算法生成的令牌數，實時調整放行請求數。

另一方面提供了一種計算機可讀介質，其上存儲有程序代碼，該程序代碼可被處理器運行以執行用于基于接口響應時間趨勢進行動態限流的方法，所述方法包括如下步驟：

A、對于每個對接口的訪問請求，根據接口當前的限流狀態確定對該訪問請求執行排隊操作或放行操作，并在放行該訪問請求時將該請求的接口響應時間存入響應時間隊列；

B、定時統計接口響應時間，根據接口響應時間趨勢和超時百分比確定是否對該接口開啟限流；

C、執行限流期間，根據接口響應時間趨勢動態調整令牌桶算法生成的令牌數，實時調整放行請求數。