[發明專利]流量調度方法、裝置和系統

有效

• 申請號: 201811058687.9
• 申請日: 2018-09-11
• 公開（公告）號: CN109450803B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 胡健;王剛;王俊杰
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: H04L47/24
• 分類號: H04L47/24;H04L47/50;H04L47/6275
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

公開了一種流量調度方法、系統和裝置。所述方法包括：獲取多個進程各自的待處理隊列長度；使得待處理隊列長度高于或低于第一閾值的進程基于不同規則搶占待分配請求；以及使得待處理隊列長度高于第二閾值的進程暫停搶占待分配請求。由此，通過第一和第二閾值的引入實現針對隊列長度的三分處理，由此提升系統應對各種流量時的合理性。本發明的本機多進程流量調度機制通過水位閾值的設置，能夠在流量低谷時確保高效的資源調度，同時在流量高峰時保證系統的魯棒性并降低拒絕率，并且可以通過調權參數的引入有效解決驚群問題并改善請求延時，由此提升單機應對流量波動時的應對能力，并提升整體的業務處理能力。

技術領域

本發明涉及互聯網領域，尤其涉及一種流量調度方法、裝置和系統。

背景技術

在一些高并發、大流量互聯網業務場景下，需要一種吞吐能力強、機器資源開銷小、低延時、并且與業務場景結合緊密的網絡業務框架。業界的高性能網絡業務框架一般采用多線程及多進程處理模型。

結合特定領域的業務場景(例如搜索)，網絡業務框架可能需要加載大量資源，例如，詞典資源?？紤]到網絡框架的魯棒性、以及需要熱升級等特性，可以選取多進程通訊模型。在多進程中，如何兼顧吞吐能力、請求處理延時、以及系統資源開銷是亟待解決的問題。

現有技術中業已使用添加標記的方法來解決多進程監聽同一端口時的驚群效益問題，并且可以通過設置請求隊列從一定程度上緩解請求延時問題。但由于網絡業務在實際應用時的流量存在波動，現有的流量調度機制仍然無法在兼顧上述吞吐、延時和開銷問題的同時應對流量波動帶來的一系列問題。

為此，仍然需要一種能夠解決上述問題的流量調度機制。

發明內容

為了解決如上至少一個問題，本發明提出了一種針對本機多進程的流量調度機制。其通過水位閾值的設置，能夠在流量低谷時確保高效的資源調度，同時在流量高峰時保證系統的魯棒性并降低拒絕率，由此提升單機應對流量波動時的應對能力，并提升整體的業務處理能力。

根據本發明的一個方面，提出了一種流量調度方法，包括：獲取多個進程各自的待處理隊列長度；使得待處理隊列長度高于或低于第一閾值的進程基于不同規則搶占待分配請求；以及使得待處理隊列長度高于第二閾值的進程暫停搶占待分配請求。由此，通過第一和第二閾值的引入實現針對隊列長度的三分處理，由此提升系統應對各種流量時的合理性。

第一閾值可以是低水位閾值，所述第二閾值可以是高水位閾值。由此，使得待處理隊列長度高于或低于第一閾值的進程基于不同規則搶占待分配請求可以包括：使得待處理隊列長度小于低水位閾值的進程自由搶占待分配請求。由此。通過在系統空閑時充分發揮各個進程的處理能力。例如，可以使得待分配請求在待處理隊列長度小于低水位閾值的進程之間平均分配，由此提升整體處理效率。

優選地，使得待處理隊列長度高于或低于第一閾值的進程基于不同規則搶占待分配請求包括：使得待處理隊列長度在高低水位閾值之間進程基于其待處理隊列長度搶占待分配請求，進一步地，可以包括使得待處理隊列長度在高低水位閾值之間進程中待處理隊列長度排位高于第三閾值的進程參與搶占待分配請求。由此，通過調權參數的引入，使得總是隊列最短的進程參與請求搶占，并且能夠有效解決驚群效應。

優選地，基于系統配置動態設置如下至少一個參數：第一閾值；第二閾值；第三閾值；以及進程個數。由此提升本發明針對各種應用場景的適配程度。

本發明的流量調度方法還可以包括：使得待處理隊列長度高于或低于至少一個第四閾值的進程基于不同規則搶占待分配請求，其中，所述第四閾值大于第一閾值并且小于第二閾值。由此，可以通過引入更多水位線來細化針對不同隊列長度的處理。

優選地，獲取多個進程各自的待處理隊列長度可以包括：每個進程向共享隊列區更新其自身的待處理隊列長度。由此方便地實現隊列長度信息的維護和獲取。