[發(fā)明專利]動(dòng)態(tài)部署下載機(jī)方法和動(dòng)態(tài)部署下載機(jī)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201410204792.4
• 申請(qǐng)日: 2014-05-15
• 公開（公告）號(hào): CN105100155A
• 公開（公告）日: 2015-11-25
• 發(fā)明（設(shè)計(jì)）人: 周麗;于曉明;楊建武;閻磊;張誠(chéng)堅(jiān);李剛
• 申請(qǐng)（專利權(quán)）人: 北大方正集團(tuán)有限公司;北京大學(xué);北京北大方正電子有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京友聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及一種動(dòng)態(tài)部署下載機(jī)方法和一種動(dòng)態(tài)部署下載機(jī)裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的出現(xiàn)，人們的工作和生活方式也隨之發(fā)生了越來越多的改變。今天，豐富而實(shí)時(shí)的網(wǎng)絡(luò)新聞與各種博客、論壇、微博等新興媒介，正隨時(shí)隨地帶給人們以海量的資訊與信息。正因如此，及時(shí)準(zhǔn)確地獲取及分析這些信息更為重要。

若想準(zhǔn)確地采集和分析這些廣泛而實(shí)時(shí)更新的信息，目前普遍采用的策略是分布式系統(tǒng)。這種系統(tǒng)主要部分包括調(diào)度、下載、解析等部分，其中在部署下載機(jī)時(shí)，采用固定部署方式用于抓取頁(yè)面信息。這樣的部署網(wǎng)絡(luò)下載機(jī)所付出的巨大代價(jià)就是需要更多的物理設(shè)備、消耗更多的電能和管理成本。

發(fā)明內(nèi)容

考慮到相關(guān)技術(shù)中出現(xiàn)的技術(shù)問題，本發(fā)明提供了一種下載機(jī)部署技術(shù)，可根據(jù)信息量、下載任務(wù)情況動(dòng)態(tài)部署下載機(jī)。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種動(dòng)態(tài)部署下載機(jī)方法，包括：監(jiān)測(cè)下載任務(wù)狀態(tài)；根據(jù)所述下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。

分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測(cè)下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他下載機(jī)可處于關(guān)機(jī)狀態(tài)，從而實(shí)現(xiàn)動(dòng)態(tài)部署下載機(jī)，減少了資源浪費(fèi)。

在上述技術(shù)方案中，優(yōu)選的，所述下載任務(wù)狀態(tài)包括當(dāng)前待下載任務(wù)的數(shù)量、實(shí)時(shí)刷新出的任務(wù)數(shù)量、預(yù)定時(shí)間段內(nèi)的落地文件的數(shù)量和/或不同時(shí)間段對(duì)應(yīng)的網(wǎng)絡(luò)信息量。

在上述技術(shù)方案中，優(yōu)選的，在所述下載任務(wù)狀態(tài)滿足預(yù)設(shè)條件時(shí)，啟動(dòng)所述分布式系統(tǒng)中所需的下載機(jī)，否則，關(guān)閉所述分布式系統(tǒng)中的指定下載機(jī)。

任務(wù)頻繁發(fā)生的時(shí)間段不一樣，例如每天晚上6點(diǎn)至8點(diǎn)的任務(wù)發(fā)生數(shù)較其他時(shí)段多，當(dāng)進(jìn)入晚上6點(diǎn)至8點(diǎn)時(shí)，可開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)，來滿足當(dāng)前的需要。當(dāng)出了上述時(shí)間段之后，關(guān)閉這些下載機(jī)，節(jié)約資源和能耗。

在上述技術(shù)方案中，優(yōu)選的，所述預(yù)設(shè)條件包括當(dāng)前待下載任務(wù)的數(shù)量大于第一閾值、實(shí)時(shí)刷新出的任務(wù)數(shù)量大于第二閾值，預(yù)定時(shí)間段內(nèi)的落地文件大于第三閾值和/或當(dāng)前時(shí)間點(diǎn)處于網(wǎng)絡(luò)信息量大于第四閾值的時(shí)間段。

在上述任一技術(shù)方案中，優(yōu)選的，監(jiān)測(cè)所述分布式系統(tǒng)中各下載機(jī)的狀態(tài)，所述狀態(tài)包括待機(jī)狀態(tài)、工作狀態(tài)、關(guān)機(jī)狀態(tài)；判斷所述分布式系統(tǒng)中處于開機(jī)狀態(tài)的下載機(jī)是否可完成與所述下載任務(wù)狀態(tài)對(duì)應(yīng)的下載量；在不滿足所述下載量時(shí)，開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)。

當(dāng)監(jiān)測(cè)到當(dāng)前的下載狀態(tài)時(shí)，還需要監(jiān)測(cè)當(dāng)前各下載機(jī)的狀態(tài)，如果當(dāng)前處于開啟狀態(tài)的下載機(jī)能夠完成當(dāng)前的下載任務(wù)，則不需要開啟其他處于關(guān)機(jī)狀態(tài)的下載機(jī)，否則，可選擇開啟合適的下載機(jī)。

根據(jù)本發(fā)明的另一方面，還提供了一種動(dòng)態(tài)部署下載機(jī)裝置，包括：監(jiān)測(cè)單元，連接至控制單元，用于監(jiān)測(cè)下載任務(wù)狀態(tài)；所述控制單元，用于根據(jù)所述下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。

分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測(cè)下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他下載機(jī)可處于關(guān)機(jī)狀態(tài)，從而實(shí)現(xiàn)動(dòng)態(tài)部署下載機(jī)，減少了資源浪費(fèi)。

在上述技術(shù)方案中，優(yōu)選的，所述下載任務(wù)狀態(tài)包括當(dāng)前待下載任務(wù)的數(shù)量、實(shí)時(shí)刷新出的任務(wù)數(shù)量、預(yù)定時(shí)間段內(nèi)的落地文件的數(shù)量和/或不同時(shí)間段對(duì)應(yīng)的網(wǎng)絡(luò)信息量。

在上述技術(shù)方案中，優(yōu)選的，所述控制單元包括：判斷單元，在所述下載任務(wù)狀態(tài)滿足預(yù)設(shè)條件時(shí)，啟動(dòng)所述分布式系統(tǒng)中所需的下載機(jī)，否則，關(guān)閉所述分布式系統(tǒng)中的指定下載機(jī)。

任務(wù)頻繁發(fā)生的時(shí)間段不一樣，例如每天晚上6點(diǎn)至8點(diǎn)的任務(wù)發(fā)生數(shù)較其他時(shí)段多，當(dāng)進(jìn)入晚上6點(diǎn)至8點(diǎn)時(shí)，可開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)，來滿足當(dāng)前的需要。當(dāng)出了上述時(shí)間段之后，關(guān)閉這些下載機(jī)，節(jié)約資源和能耗。

在上述技術(shù)方案中，優(yōu)選的，所述預(yù)設(shè)條件包括當(dāng)前待下載任務(wù)的數(shù)量大于第一閾值、實(shí)時(shí)刷新出的任務(wù)數(shù)量大于第二閾值，預(yù)定時(shí)間段內(nèi)的落地文件大于第三閾值和/或當(dāng)前時(shí)間點(diǎn)處于網(wǎng)絡(luò)信息量大于第四閾值的時(shí)間段。

在上述技術(shù)方案中，優(yōu)選的，所述監(jiān)測(cè)單元還用于監(jiān)測(cè)所述分布式系統(tǒng)中各下載機(jī)的狀態(tài)，所述狀態(tài)包括待機(jī)狀態(tài)、工作狀態(tài)、關(guān)機(jī)狀態(tài)；