[發(fā)明專利]代理服務器的處理方法、電子設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010075541.6
• 申請日: 2020-01-22
• 公開（公告）號: CN111277662B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 王曉煒
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04L67/56
• 分類號: H04L67/56;H04L67/562;H04L61/5061;H04L61/5007
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 苗曉靜

本發(fā)明實施例提供一種代理服務器的處理方法、電子設備及存儲介質(zhì)。方法包括：通過目標代理服務器進行數(shù)據(jù)爬取，并根據(jù)數(shù)據(jù)爬取的結果對所述目標代理服務器的權重進行更新；其中，所述目標代理服務器為IP池中權重大于第一預設權重的代理服務器。通過代理服務器的權重對代理服務器進行篩選，確定目標代理服務器進行數(shù)據(jù)爬取，并根據(jù)數(shù)據(jù)爬取的結果對目標代理服務器的權重進行更新，從而根據(jù)權重確定是否刪除代理服務器，避免了有效代理服務器被誤刪除，使得IP池具有一批穩(wěn)定有效的代理服務器，提高了系統(tǒng)資源的利用率。

技術領域

本發(fā)明涉及計算機技術領域，尤其涉及一種代理服務器的處理方法、電子設備及存儲介質(zhì)。

背景技術

代理服務器又稱為代理IP，其功能是代理網(wǎng)絡用戶去取得網(wǎng)絡信息，它是網(wǎng)絡信息的中轉站。代理服務器是介于瀏覽器和WEB服務器之間的一臺服務器，由代理服務器來取回瀏覽器所需要的信息并傳送給瀏覽器。網(wǎng)絡中的爬蟲是搜索引擎系統(tǒng)中十分重要的組成部分，它負責從互聯(lián)網(wǎng)中搜集網(wǎng)頁采集信息，是一種高效的信息采集利器，利用它可以快速準確地采集各種所需的數(shù)據(jù)資源。IP池由一段代理IP或多段代理IP或多個代理IP組成，是一個IP范圍。

現(xiàn)有技術的爬蟲系統(tǒng)中，如果發(fā)現(xiàn)IP池中的代理服務器不可用，便會直接將該代理服務器從IP池中刪除。如果某個代理服務器在第一天出現(xiàn)可用性波動，第二天又恢復，則第一天可能會被誤刪除，造成有效代理服務器被誤刪除。

發(fā)明內(nèi)容

針對現(xiàn)有技術存在的問題，本發(fā)明實施例提供一種代理服務器的處理方法、電子設備及存儲介質(zhì)。

第一方面，本發(fā)明實施例提供一種代理服務器的處理方法，包括：

通過目標代理服務器進行數(shù)據(jù)爬取，并根據(jù)數(shù)據(jù)爬取的結果對所述目標代理服務器的權重進行更新；

其中，所述目標代理服務器為IP池中權重大于第一預設權重的代理服務器。

可選地，所述根據(jù)數(shù)據(jù)爬取的結果對所述目標代理服務器的權重進行更新，具體包括：

若數(shù)據(jù)爬取的結果為失敗，則將所述目標代理服務器的權重減去第二預設權重；

或，

若數(shù)據(jù)爬取的結果為失敗，則判斷所述目標代理服務器的權重是否大于權重和值；若所述目標代理服務器的權重大于權重和值，則將所述目標代理服務器的權重減去所述第二預設權重；若所述目標代理服務器的權重小于或等于所述權重和值且大于最小權重，則將所述目標代理服務器的權重更新為所述最小權重；

其中，所述權重和值為所述最小權重和所述第二預設權重之和。

可選地，所述代理服務器的處理方法還包括：

每隔第一預設周期，控制IP池中各代理服務器訪問預設網(wǎng)站，并根據(jù)各代理服務器在各第一預設周期的存活時間，以及訪問所述預設網(wǎng)站的成功次數(shù)和失敗次數(shù)，計算得到各代理服務器在各第一預設周期的更新權重；

根據(jù)各代理服務器在各第一預設周期的更新權重對各代理服務器的權重進行更新；

其中，所述存活時間為代理服務器在IP池中存活的時間。

可選地，所述根據(jù)各代理服務器在各第一預設周期的存活時間，以及訪問所述預設網(wǎng)站的成功次數(shù)和失敗次數(shù)，計算得到各代理服務器在各第一預設周期的更新權重，具體包括：

根據(jù)各代理服務器在各第一預設周期的存活時間T，以及訪問所述預設網(wǎng)站的成功次數(shù)X和失敗次數(shù)Y，計算得到各代理服務器在各第一預設周期的更新權重R：

可選地，所述根據(jù)各代理服務器在各第一預設周期的更新權重對各代理服務器的權重進行更新，具體包括：