[發(fā)明專利]代理IP動態(tài)管理方法、設備及計算機可讀存儲介質

有效

• 申請?zhí)枺?/td>: 202110152382.X
• 申請日: 2021-02-03
• 公開（公告）號: CN112822306B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 張振海;廖海波;陳婷;吳三平;王宗澤
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: H04L61/5046
• 分類號: H04L61/5046;H04L61/5061;H04L61/59;H04L67/56;H04L67/61
• 代理公司: 深圳市世紀恒程知識產(chǎn)權代理事務所 44287
• 代理人: 張志江

本發(fā)明涉及金融科技(Fintech)技術領域。本發(fā)明公開了一種代理IP動態(tài)管理方法、設備及介質，本發(fā)明針對目標代理IP可能存在的不同種類進行分類分池存儲，從而初步提升了代理池的穩(wěn)定性與有效性；針對不同優(yōu)先級的代理池提供不同的有效性檢測方式，避免了現(xiàn)有的采用獨立有效性檢測程序異步進行檢測的方式為采集效率所帶來的影響；通過采用有效性檢測所得結果實現(xiàn)目標代理IP所屬代理池的動態(tài)更新，使得能夠時刻準確識別目標代理IP實際的有效性，進而減低誤判，提高目標代理IP的使用效率，進一步形成了高可用的代理池；基于動態(tài)流動的目標代理IP按照優(yōu)先級對數(shù)據(jù)采集任務提供針對性服務，避免了現(xiàn)有方式中代理池無差別對外提供服務，從而有效提高了數(shù)據(jù)采集任務的完成效率。

技術領域

本發(fā)明涉及金融科技(Fintech)技術領域，尤其涉及代理IP動態(tài)管理方法、設備及計算機可讀存儲介質。

背景技術

隨著計算機技術的發(fā)展，越來越多的技術(大數(shù)據(jù)、分布式、區(qū)塊鏈Blockchain、人工智能等)應用在金融領域，傳統(tǒng)金融業(yè)正在逐步向金融科技(Fintech)轉變，但由于金融行業(yè)的安全性、實時性要求，也對技術提出了更高的要求。

大規(guī)模采集互聯(lián)網(wǎng)公開數(shù)據(jù)往往會消耗大量代理IP，現(xiàn)有的獲取代理IP的方式通常有兩種，一種是直接購買付費代理IP，另一種是獲取互聯(lián)網(wǎng)公開的免費代理IP。但付費代理IP的有效時間有限，而免費代理IP可能只有部分可用并且有效時間更短，因此無論是付費代理還是免費代理，都不能保證時刻有效可用，一旦選用了無效的代理IP，勢必會影響到數(shù)據(jù)采集的工作效率，從而導致了基于現(xiàn)有的代理IP管理方式所進行數(shù)據(jù)采集任務的效率低下的技術問題。

發(fā)明內容

本發(fā)明的主要目的在于提出一種代理IP動態(tài)管理方法、設備及計算機可讀存儲介質，旨在解決基于現(xiàn)有的代理IP管理方式所進行數(shù)據(jù)采集任務的效率低下的技術問題。

為實現(xiàn)上述目的，本發(fā)明提供一種代理IP動態(tài)管理方法，所述代理IP動態(tài)管理方法包括：

獲取目標代理IP，并確定所述目標代理IP的種類；

根據(jù)所述目標代理IP的種類為所述目標代理IP在若干優(yōu)先級不同的代理池中分配初始代理池以供存儲，并確定各所述代理池分別對應的有效性檢測方式；

根據(jù)所述初始代理池對應的有效性檢測方式對所述目標代理IP進行有效性檢測，以將所述目標代理IP的所屬代理池從所述初始代理池動態(tài)更新至若干所述代理池中的目標代理池，并基于所述目標代理池下的目標代理IP按照對應優(yōu)先級對數(shù)據(jù)采集任務提供針對性服務。

可選地，所述目標代理IP的種類包括付費代理IP，

所述根據(jù)所述目標代理IP的種類為所述目標代理IP在若干優(yōu)先級不同的代理池中分配初始代理池以供存儲的步驟包括：

在檢測到所述目標代理IP的種類為付費代理IP時，在若干所述代理池中分配高優(yōu)先級的代理池作為所述初始代理池，以將所述付費代理IP存儲至所述高優(yōu)先級的代理池中。

可選地，所述有效性檢測方式包括第一有效性檢測方式，

所述確定各所述代理池分別對應的有效性檢測方式的步驟包括：

針對所述高優(yōu)先級的代理池，確定采用采集服務結果檢測的方式作為所述第一有效性檢測方式；

所述根據(jù)所述初始代理池對應的有效性檢測方式對所述目標代理IP進行有效性檢測，以將所述目標代理IP的所屬代理池從所述初始代理池動態(tài)更新至若干所述代理池中的目標代理池的步驟包括：

按照所述第一有效性檢測方式，在檢測所述付費代理IP進行高優(yōu)先級采集服務后得到失敗采集結果時，判斷所述付費代理IP是否處于有效時間；