[發(fā)明專利]基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)及其控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910730270.0
• 申請(qǐng)日: 2019-08-08
• 公開(kāi)（公告）號(hào): CN110457565A
• 公開(kāi)（公告）日: 2019-11-15
• 發(fā)明（設(shè)計(jì)）人: 林斌斌;曾維
• 申請(qǐng)（專利權(quán)）人: 上海富數(shù)科技有限公司
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953
• 代理公司: 31002 上海智信專利代理有限公司
• 代理人: 王潔;鄭暄<國(guó)際申請(qǐng)>=<國(guó)際公布>=<

本發(fā)明涉及一種基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)，包括瀏覽器決策器，用于根據(jù)采集任務(wù)信息決策使用瀏覽器集群中的機(jī)器和服務(wù)；瀏覽器集群子系統(tǒng)，與所述的瀏覽器決策器相連接，用于加載控制腳本和任務(wù)信息，獲取對(duì)應(yīng)的數(shù)據(jù)采集結(jié)果。本發(fā)明還涉及一種基于瀏覽器集群技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集控制的方法。采用了該基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集控制的方法，將瀏覽器資源與控制代碼分離，通過(guò)Http請(qǐng)求封裝操作協(xié)議的方式實(shí)現(xiàn)了瀏覽器的遠(yuǎn)程調(diào)用。任務(wù)的執(zhí)行代碼在每次請(qǐng)求的時(shí)候傳輸?shù)綖g覽器集群解析執(zhí)行并將結(jié)果返回到調(diào)用方。本方案可以應(yīng)對(duì)絕大多數(shù)的任務(wù)需求而無(wú)需重新部署編譯瀏覽器環(huán)境。

技術(shù)領(lǐng)域

本發(fā)明涉及搜索引擎領(lǐng)域，尤其涉及數(shù)據(jù)采集領(lǐng)域，具體是指一種基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集控制的方法。

背景技術(shù)

用戶通常通過(guò)一些媒介訪問(wèn)目標(biāo)網(wǎng)站后臺(tái)，比如瀏覽器。采集器通常是通過(guò)腳本程序直接訪問(wèn)目標(biāo)網(wǎng)站，獲取數(shù)據(jù)，這種行為常因?yàn)槿缦略颢@取不到數(shù)據(jù)：

1、容易被服務(wù)端識(shí)別為“非人”訪問(wèn)，禁止訪問(wèn)；

2、一部分?jǐn)?shù)據(jù)通過(guò)客戶端渲染生成，采集程序不具備客戶端渲染需要的環(huán)境。

為了解決上述獲取不到數(shù)據(jù)的問(wèn)題，因此出現(xiàn)了通過(guò)驅(qū)動(dòng)瀏覽器來(lái)訪問(wèn)目標(biāo)網(wǎng)站的技術(shù)手段，比如Selenium，但是依然會(huì)出現(xiàn)問(wèn)題：

1、大規(guī)模自動(dòng)化訪問(wèn)的模擬遇到性能瓶頸，且支持形式較為單一無(wú)法完全支持主流的瀏覽器平臺(tái)；

2、目標(biāo)網(wǎng)站有支持的瀏覽器，Selenium選擇哪個(gè)瀏覽器驅(qū)動(dòng)，依賴于經(jīng)驗(yàn)的判斷，無(wú)法自適應(yīng)調(diào)節(jié)；

3、目前框架無(wú)法通過(guò)加載外部腳本，對(duì)客戶端做修改；

4、市面上產(chǎn)品多為單機(jī)實(shí)現(xiàn)，即代碼執(zhí)行腳本與瀏覽器程序均部署在一臺(tái)機(jī)器上，服務(wù)需要在每次新增改動(dòng)時(shí)重新部署。

發(fā)明內(nèi)容

本發(fā)明的目的是克服了上述現(xiàn)有技術(shù)的缺點(diǎn)，提供了一種滿足高效率、穩(wěn)定性、誤差小的基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集控制的方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明的基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集控制的方法如下：

該基于瀏覽器集群技術(shù)的數(shù)據(jù)采集系統(tǒng)，其主要特點(diǎn)是，所述的系統(tǒng)包括：

瀏覽器決策器，用于根據(jù)采集任務(wù)信息決策使用瀏覽器集群中的機(jī)器和服務(wù)；

瀏覽器集群子系統(tǒng)，與所述的瀏覽器決策器相連接，用于加載控制腳本和任務(wù)信息，獲取對(duì)應(yīng)的數(shù)據(jù)采集結(jié)果。

較佳地，所述的瀏覽器決策器包括HTTP請(qǐng)求模塊，與外部的目標(biāo)網(wǎng)站和瀏覽器集群子系統(tǒng)相連接，用于發(fā)送HTTP協(xié)議的網(wǎng)絡(luò)請(qǐng)求。

較佳地，所述的HTTP請(qǐng)求模塊包括：

默認(rèn)配置單元，與外部的目標(biāo)網(wǎng)站相連接，用于優(yōu)先使用默認(rèn)配置讀取瀏覽器；

IP代理單元，與外部的目標(biāo)網(wǎng)站相連接，用于通過(guò)IP代理模擬不同的網(wǎng)絡(luò)請(qǐng)求；

用戶代理單元，與外部的目標(biāo)網(wǎng)站相連接，用于通過(guò)HTTP協(xié)議中的用戶代理標(biāo)識(shí)篩選瀏覽器類型。

較佳地，所述的瀏覽器集群子系統(tǒng)包括：

瀏覽器SDK模塊，與所述的瀏覽器決策器相連接，用于讀取集群中在工作的瀏覽器驅(qū)動(dòng)，并將工作日志收集至日志服務(wù)單元；

瀏覽器注冊(cè)中心，與所述的瀏覽器SDK模塊相連接，用于負(fù)責(zé)收集驅(qū)動(dòng)的工作狀態(tài)；

控制協(xié)議模塊，與所述的瀏覽器SDK模塊相連接，用于驅(qū)動(dòng)不同的瀏覽器進(jìn)程；