[發(fā)明專利]代理服務器的處理方法、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202010075541.6
• 申請日: 2020-01-22
• 公開（公告）號: CN111277662B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 王曉煒
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04L67/56
• 分類號: H04L67/56;H04L67/562;H04L61/5061;H04L61/5007
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 苗曉靜

1.一種代理服務器的處理方法，其特征在于，包括：

通過目標代理服務器進行數據爬取，并根據數據爬取的結果對所述目標代理服務器的權重進行更新；其中，所述目標代理服務器為IP池中權重大于第一預設權重的代理服務器；

每隔第一預設周期，控制IP池中各代理服務器訪問預設網站，并根據各代理服務器在各第一預設周期的存活時間，以及訪問所述預設網站的成功次數和失敗次數，計算得到各代理服務器在各第一預設周期的更新權重；其中，所述存活時間為代理服務器在IP池中存活的時間；

根據各代理服務器在各第一預設周期的更新權重對各代理服務器的權重進行更新；

其中，所述根據各代理服務器在各第一預設周期的更新權重對各代理服務器的權重進行更新，具體包括：

根據各代理服務器在各第一預設周期的更新權重，計算得到各代理服務器在各第二預設周期的更新權重，并根據各代理服務器在各第二預設周期的更新權重，對各代理服務器的權重進行更新；

其中，所述第二預設周期為所述第一預設周期的整數倍。

2.根據權利要求1所述的代理服務器的處理方法，其特征在于，所述根據數據爬取的結果對所述目標代理服務器的權重進行更新，具體包括：

若數據爬取的結果為失敗，則將所述目標代理服務器的權重減去第二預設權重；

或，

若數據爬取的結果為失敗，則判斷所述目標代理服務器的權重是否大于權重和值；若所述目標代理服務器的權重大于權重和值，則將所述目標代理服務器的權重減去所述第二預設權重；若所述目標代理服務器的權重小于或等于所述權重和值且大于最小權重，則將所述目標代理服務器的權重更新為所述最小權重；

其中，所述權重和值為所述最小權重和所述第二預設權重之和。

3.根據權利要求1所述的代理服務器的處理方法，其特征在于，所述根據各代理服務器在各第一預設周期的存活時間，以及訪問所述預設網站的成功次數和失敗次數，計算得到各代理服務器在各第一預設周期的更新權重，具體包括：

根據各代理服務器在各第一預設周期的存活時間T，以及訪問所述預設網站的成功次數X和失敗次數Y，計算得到各代理服務器在各第一預設周期的更新權重R：

4.根據權利要求1所述的代理服務器的處理方法，其特征在于，所述根據各代理服務器在各第一預設周期的更新權重，計算得到各代理服務器在各第二預設周期的更新權重，并根據各代理服務器在各第二預設周期的更新權重，對各代理服務器的權重進行更新，具體包括：

根據各代理服務器在各第一預設周期的更新權重R_j，計算得到各代理服務器在各第二預設周期的更新權重avgR：

根據各代理服務器在各第二預設周期的更新權重avgR，得到各代理服務器在各第二預設周期更新后的權重W′：

W′＝W+avgR

其中，N為所述第二預設周期與所述第一預設周期的倍數，j為正整數，W為各代理服務器在各第二預設周期更新前的權重。

5.根據權利要求1所述的代理服務器的處理方法，其特征在于，所述根據各代理服務器在各第二預設周期的更新權重，對各代理服務器的權重進行更新，具體包括：

若當前代理服務器更新后的權重大于最大權重，則將當前代理服務器更新后的權重設置為所述最大權重。

6.根據權利要求1-5任一項所述的代理服務器的處理方法，其特征在于，所述代理服務器的處理方法還包括：

若判斷當前代理服務器的權重小于或等于最小權重，則將當前代理服務器添加至已刪除列表中，并將當前代理服務器從所述IP池中刪除；

和/或，

抓取新的代理服務器，若判斷所述新的代理服務器不在已刪除列表中，則將所述新的代理服務器添加至所述IP池中，并將所述新的代理服務器的權重設置為初始權重。

7.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現如權利要求1至6任一項所述的代理服務器的處理方法的步驟。

8.一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現如權利要求1至6任一項所述的代理服務器的處理方法的步驟。