[發明專利]一種基于代理服務器的請求分配方法及系統

在審

• 申請號: 202210446929.1
• 申請日: 2022-04-26
• 公開（公告）號: CN114827285A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉耀濱
• 申請（專利權）人: 深圳哇哇魚網絡科技有限公司
• 主分類號: H04L67/63
• 分類號: H04L67/63;H04L67/56
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 袁克來

本發明提供了基于代理服務器的請求分配方法及系統，方法包括設定過期時間；構建分配緩存；對代理服務器池進行初始化，以得到排序代理服務器池；當請求存在于分配緩存中時，將請求映射給分配緩存中對應的代理服務器；當請求不存在于分配緩存中時，根據映射規則將請求映射給排序代理服務器池中任一代理服務器并進行緩存；將請求分配給映射的代理服務器。該方法在短期內同一個請求多次分配的代理服務器地址是不變的，保證了請求分配的盡量固定和穩定。將請求分配給排序代理服務器池中任一代理服務器，這樣不能預知請求分配到的代理服務器的具體地址。映射規則能夠保證多個請求被盡量平均分配到排序代理服務器池的每個代理服務器上。

技術領域

本發明屬于計算機技術領域，具體涉及一種基于代理服務器的請求分配方法及系統。

背景技術

在服務器后臺程序開發過程中，經常需要向第三方服務器請求數據或網頁，第三方服務器會對同一個來源地址的請求進行不同的限制。

例如:當請求方的服務器需要獲取第三方服務器10000個不同App應用的網頁時，第三方服務器會限制不同時間節點內允許接收的請求次數，防止被程序或個人濫用(不斷請求)增加第三方服務器的服務器壓力，例如限制為每秒鐘接收5次，每分鐘接收180次，每小時接收3600次等等。這就導致請求方的服務器需要對每兩個請求之間進行延時，保證不超過這個限制，而按照這個規則,請求方需要10000/3600＝3個小時，才能完成全部請求。

所以為了解決這種限制,請求方需要將請求分散到多個服務器上，讓第三方的服務器認為請求來自于多個服務器，例如:假設請求方將請求分散到100個不同的服務器，按照上述規則,只需要10000/(100*5)＝20秒，就可以完成全部請求。但是將請求分到100個不同的服務器上，需要在這100個服務器上都部署請求方的程序，每個服務器上的程序各自負責不同的10個不同App應用的網頁，但是部署、更新過程比較復雜，而且不通用，例如：程序1獲取10000個不同App應用的網頁，程序2獲取3000個不同網站的網頁，程序3獲取5000個不同facebook賬號的主頁等等，這要求請求方將這些程序都部署到這100個服務器上，部署、更新的工作量很大。

所以在這種情況下，可以將這100個服務器改為代理服務器池來完成，代理服務器池包括多個代理服務器，代理服務器(Proxy Server)的功能是代理網絡上的服務器/機器取得第三方的服務器的網頁、數據信息，第三方的服務器只能看到代理服務器的地址,而無法知道真實發起請求的服務器/機器地址，流程為：在一臺服務器上部署和執行程序，程序將所有的請求分到代理服務器池，代理服務器池里的每個代理服務器依次執行請求將結果返回，程序收集所有從代理服務器池返回結果，但是由于請求的數量不固定，代理服務器池中代理服務器的數量不固定，所以如何將數量不固定的請求分配到代理服務器池是急需解決的問題。

發明內容

針對現有技術中的缺陷，本發明提供一種基于代理服務器的請求分配方法及系統，能夠將數量不固定的請求分配到代理服務器池。

第一方面，一種基于代理服務器的請求分配方法，包括：

執行分配映射初始化步驟；分配映射初始化步驟包括設定過期時間：過期時間＝當前時間+時間閾值；構建分配緩存；分配緩存存儲請求以及其歷史映射的代理服務器；對代理服務器池進行初始化，以得到排序代理服務器池；

當接收到請求時，執行請求映射步驟，以得到每個請求映射的代理服務器；請求映射步驟包括：當請求存在于分配緩存中時，將請求映射給分配緩存中請求對應的代理服務器；當請求不存在于分配緩存中時，根據映射規則將請求映射給排序代理服務器池中任一代理服務器，將請求和映射的代理服務器存儲于分配緩存中；

將請求分配給映射的代理服務器。

進一步地，對代理服務器池進行初始化，以得到排序代理服務器池具體包括：

生成加密字符串；