[發(fā)明專利]控制網(wǎng)絡(luò)爬蟲的任務(wù)分配方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610243866.4
• 申請(qǐng)日: 2016-04-18
• 公開（公告）號(hào): CN107305548B
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 楊杰
• 申請(qǐng)（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;張永明

本申請(qǐng)公開了一種控制網(wǎng)絡(luò)爬蟲的任務(wù)分配方法和裝置。其中，網(wǎng)絡(luò)爬蟲采用多線程執(zhí)行任務(wù)，多線程預(yù)先存放于線程池內(nèi)，該方法包括：通過信號(hào)量判斷多線程中的任務(wù)線程的數(shù)量是否達(dá)到任務(wù)最大并行數(shù)，其中，信號(hào)量的初始值為任務(wù)最大并行數(shù)，任務(wù)線程為經(jīng)過信號(hào)量的線程；在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量達(dá)到任務(wù)最大并行數(shù)時(shí)，阻止線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)；以及在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量未達(dá)到任務(wù)最大并行數(shù)時(shí)，控制線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)。本申請(qǐng)解決了相關(guān)技術(shù)中通過中間控制器分配網(wǎng)絡(luò)爬蟲任務(wù)導(dǎo)致爬蟲系統(tǒng)變得較為復(fù)雜的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種控制網(wǎng)絡(luò)爬蟲的任務(wù)分配方法和裝置。

背景技術(shù)

網(wǎng)絡(luò)爬蟲爬取網(wǎng)頁時(shí)會(huì)從一個(gè)或若干初始網(wǎng)頁的統(tǒng)一資源定位符(UniformResource Locator，簡稱為URL)開始，抽取初始網(wǎng)頁上的所有URL，并放入U(xiǎn)RL隊(duì)列，等待網(wǎng)絡(luò)爬蟲從URL隊(duì)列獲取一個(gè)新的URL繼續(xù)執(zhí)行網(wǎng)頁爬取。現(xiàn)有方法是通過中間控制器來給網(wǎng)絡(luò)爬蟲分配任務(wù)，所以網(wǎng)絡(luò)爬蟲任務(wù)的分配非常依賴于中間控制器，當(dāng)中間控制器出現(xiàn)異常情況時(shí)會(huì)導(dǎo)致網(wǎng)絡(luò)爬蟲分配不到任務(wù)或者分配過多任務(wù)，如果網(wǎng)絡(luò)爬蟲分配不到任務(wù)就會(huì)一直處于空閑狀態(tài)，浪費(fèi)機(jī)器資源；如果網(wǎng)絡(luò)爬蟲同時(shí)執(zhí)行過多的任務(wù)則會(huì)導(dǎo)致網(wǎng)絡(luò)爬蟲崩潰，造成任務(wù)和數(shù)據(jù)的丟失，帶來較為嚴(yán)重的后果。

具體地，現(xiàn)有通過中間控制器分配網(wǎng)絡(luò)爬蟲任務(wù)的方法存在如下缺點(diǎn)：首先，需要另寫一個(gè)中間控制器程序分配網(wǎng)絡(luò)爬蟲的爬取任務(wù)，使得整個(gè)爬蟲系統(tǒng)變得復(fù)雜，不易維護(hù)；其次，網(wǎng)絡(luò)爬蟲任務(wù)的分配非常依賴中間控制器程序，當(dāng)中間控制器程序出現(xiàn)異常崩潰時(shí)，會(huì)存在數(shù)據(jù)丟失或是浪費(fèi)機(jī)器資源的問題。

針對(duì)相關(guān)技術(shù)中通過中間控制器分配網(wǎng)絡(luò)爬蟲任務(wù)導(dǎo)致爬蟲系統(tǒng)變得較為復(fù)雜的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種控制網(wǎng)絡(luò)爬蟲的任務(wù)分配方法和裝置，以解決相關(guān)技術(shù)中通過中間控制器分配網(wǎng)絡(luò)爬蟲任務(wù)導(dǎo)致爬蟲系統(tǒng)變得較為復(fù)雜的問題。

為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種控制網(wǎng)絡(luò)爬蟲的任務(wù)分配方法。網(wǎng)絡(luò)爬蟲采用多線程執(zhí)行任務(wù)，多線程預(yù)先存放于線程池內(nèi)，該方法包括：通過信號(hào)量判斷多線程中的任務(wù)線程的數(shù)量是否達(dá)到任務(wù)最大并行數(shù)，其中，信號(hào)量的初始值為任務(wù)最大并行數(shù)，任務(wù)線程為經(jīng)過信號(hào)量的線程；在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量達(dá)到任務(wù)最大并行數(shù)時(shí)，阻止線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)；以及在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量未達(dá)到任務(wù)最大并行數(shù)時(shí)，控制線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)。

進(jìn)一步地，通過信號(hào)量判斷多線程中的任務(wù)線程的數(shù)量是否達(dá)到任務(wù)最大并行數(shù)包括：判斷信號(hào)量的值是否為0；在判斷出信號(hào)量的值為0時(shí)，則確定多線程中的任務(wù)線程的數(shù)量達(dá)到任務(wù)最大并行數(shù)；以及在判斷出信號(hào)量的值不為0時(shí)，則確定多線程中的任務(wù)線程的數(shù)量未達(dá)到任務(wù)最大并行數(shù)。

進(jìn)一步地，在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量未達(dá)到任務(wù)最大并行數(shù)時(shí)，控制線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)之后，該方法還包括：將信號(hào)量的值減1，在任務(wù)線程的任務(wù)執(zhí)行完成或取消時(shí)，方法還包括：將信號(hào)量的值加1。

進(jìn)一步地，在通過信號(hào)量判斷出多線程中的任務(wù)線程的數(shù)量達(dá)到任務(wù)最大并行數(shù)時(shí)，阻止線程池內(nèi)的線程從URL隊(duì)列中獲取任務(wù)之后，該方法還包括：控制線程池內(nèi)的線程進(jìn)入等待狀態(tài)。

進(jìn)一步地，在通過信號(hào)量判斷多線程中的任務(wù)線程的數(shù)量是否達(dá)到任務(wù)最大并行數(shù)之前，該方法還包括：在網(wǎng)絡(luò)爬蟲啟動(dòng)時(shí)，從數(shù)據(jù)庫中讀取任務(wù)最大并行數(shù)，其中，數(shù)據(jù)庫中預(yù)先存儲(chǔ)有任務(wù)最大并行數(shù)；以及將任務(wù)最大并行數(shù)賦值給信號(hào)量，并作為信號(hào)量的初始值。