[發(fā)明專利]獲取信息的方法及裝置

有效

• 申請?zhí)枺?/td>: 201811280920.8
• 申請日: 2018-10-30
• 公開（公告）號: CN109474710B
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計）人: 趙丙峰;陶志明
• 申請（專利權(quán)）人: 北京網(wǎng)眾共創(chuàng)科技有限公司
• 主分類號: H04L61/59
• 分類號: H04L61/59
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 江舟;董文倩

本申請?zhí)峁┝艘环N獲取信息的方法及裝置，其中，該方法包括：反向代理系統(tǒng)包括中間服務(wù)器和多個VPS代理服務(wù)器，客戶端通過該反向代理系統(tǒng)來獲取目標網(wǎng)站的信息，由于該反向代理系統(tǒng)中包括多個VPS代理服務(wù)器對應(yīng)不同的IP地址，因此客戶端設(shè)備可以換用不同的IP地址來獲取目標網(wǎng)站的信息，獲取信息的過程不中斷，保證了我方穩(wěn)定的信息獲取量，解決了相關(guān)技術(shù)中大量獲取對方網(wǎng)站信息被對方限制導致信息獲取量大幅減少的問題。

技術(shù)領(lǐng)域

本申請涉及但不限于互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種獲取信息的方法及裝置。

背景技術(shù)

在相關(guān)技術(shù)中，互聯(lián)網(wǎng)協(xié)議地址(Internet Protocol Address，簡稱為IP)代理池的建設(shè)對于爬蟲來說是關(guān)鍵的一個技術(shù)環(huán)節(jié)，在爬取過程中經(jīng)常會碰到很多網(wǎng)站的反爬取策略，或者說因為信息采集強度，以及采集速度太大，給被爬服務(wù)器造成了壓力，如果一直使用此IP作為爬取客戶端client，就會被對方網(wǎng)站禁止訪問網(wǎng)站。但隨著公司的業(yè)務(wù)增長，必須得采取相應(yīng)的策略來保證正常的獲取信息的能力。相關(guān)技術(shù)中直接提供IP代理的方式獲取網(wǎng)站信息，一旦IP不可用需要主動更新IP甚至更改程序代碼。

針對相關(guān)技術(shù)中大量獲取對方網(wǎng)站信息被對方限制導致信息獲取量大幅減少的問題，目前還沒有有效的解決方案。

發(fā)明內(nèi)容

本申請實施例提供了一種獲取信息的方法及裝置，以至少解決相關(guān)技術(shù)中大量獲取對方網(wǎng)站信息被對方限制導致信息獲取量大幅減少的問題。

根據(jù)本申請的一個實施例，提供了一種獲取信息的方法，包括：客戶端設(shè)備通過反向代理系統(tǒng)獲取目標網(wǎng)站的信息，其中，所述反向代理系統(tǒng)包括中間服務(wù)器，和注冊在所述中間服務(wù)器上的多個虛擬專用服務(wù)器VPS代理服務(wù)器。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的方法，包括：反向代理系統(tǒng)接收客戶端設(shè)備的第一請求消息，其中，所述反向代理系統(tǒng)包括中間服務(wù)器，和注冊在所述中間服務(wù)器上的一個或多個VPS代理服務(wù)器；通過所述一個或多個VPS代理服務(wù)器，依據(jù)所述第一請求消息完成獲取目標網(wǎng)站信息的業(yè)務(wù)。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的方法，包括：中間服務(wù)器接收客戶端設(shè)備發(fā)送的用于獲取目標網(wǎng)站信息的第一獲取請求消息，其中，所述中間服務(wù)器上注冊有一個或多個VPS代理服務(wù)器；在所述一個或多個VPS代理服務(wù)器中選擇第一服務(wù)器，通過所述第一服務(wù)器獲取所述目標網(wǎng)站的信息；接收所述第一服務(wù)器反饋的獲取結(jié)果，并轉(zhuǎn)發(fā)至所述客戶端設(shè)備。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的方法，包括：中間服務(wù)器接收客戶端設(shè)備發(fā)送的用于獲取代理服務(wù)器的第二獲取請求消息，其中，所述中間服務(wù)器上注冊有一個或多個VPS代理服務(wù)器；所述中間服務(wù)器在所述一個或多個VPS代理服務(wù)器中選擇第一服務(wù)器，并反饋所述第一服務(wù)器的IP地址至所述客戶端設(shè)備，其中，所述客戶端設(shè)備通過所述第一服務(wù)器獲取目標網(wǎng)站的信息。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的裝置，包括：第一獲取模塊，用于通過反向代理系統(tǒng)獲取目標網(wǎng)站的信息，其中，所述反向代理系統(tǒng)包括中間服務(wù)器，和注冊在所述中間服務(wù)器上的多個VPS代理服務(wù)器。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的裝置，應(yīng)用于反向代理系統(tǒng)，包括：第二接收模塊，用于接收客戶端設(shè)備的第一請求消息，其中，所述反向代理系統(tǒng)包括中間服務(wù)器，和注冊在所述中間服務(wù)器上的一個或多個VPS代理服務(wù)器；第二獲取模塊，用于通過所述一個或多個VPS代理服務(wù)器，依據(jù)所述第一請求消息完成獲取目標網(wǎng)站信息的業(yè)務(wù)。

根據(jù)本申請的另一個實施例，還提供了一種獲取信息的裝置，應(yīng)用于中間服務(wù)器，包括：第三接收模塊，用于接收客戶端設(shè)備發(fā)送的用于獲取目標網(wǎng)站信息的第一獲取請求消息，其中，所述中間服務(wù)器上注冊有一個或多個VPS代理服務(wù)器；第三獲取模塊，用于在所述一個或多個VPS代理服務(wù)器中選擇第一服務(wù)器，通過所述第一服務(wù)器獲取所述目標網(wǎng)站的信息；第三轉(zhuǎn)發(fā)模塊，用于接收所述第一服務(wù)器反饋的獲取結(jié)果，并轉(zhuǎn)發(fā)至所述客戶端設(shè)備。