[發(fā)明專利]情報(bào)信息的搜集方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810128411.7
• 申請(qǐng)日: 2018-02-08
• 公開(kāi)（公告）號(hào): CN108256110A
• 公開(kāi)（公告）日: 2018-07-06
• 發(fā)明（設(shè)計(jì)）人: 謝志威
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F8/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 李文淵

本申請(qǐng)涉及一種情報(bào)信息的搜集方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取種子資源定位符；根據(jù)已搜集資源定位符列表篩選該種子資源定位符；將篩選后的種子資源定位符加入情報(bào)信息搜集列表中；按照該情報(bào)信息搜集列表中種子資源定位符的排列順序依次選取種子資源定位符；根據(jù)選取的種子資源定位符，使用爬蟲(chóng)引擎獲取相應(yīng)的頁(yè)面信息；根據(jù)該頁(yè)面信息選取預(yù)設(shè)轉(zhuǎn)碼方案；根據(jù)該預(yù)設(shè)轉(zhuǎn)碼方案將該頁(yè)面信息轉(zhuǎn)碼，得到通用格式的情報(bào)信息。采用本方法能夠在保證將頁(yè)面信息轉(zhuǎn)碼成功的前提下，減少了將頁(yè)面信息轉(zhuǎn)碼花費(fèi)的時(shí)間，提高了搜集情報(bào)信息的工作效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及網(wǎng)絡(luò)爬蟲(chóng)技術(shù)領(lǐng)域，特別是涉及一種情報(bào)信息的搜集方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，越來(lái)越多的信息在互聯(lián)網(wǎng)上發(fā)布和傳播。相較于傳統(tǒng)的信息發(fā)布和傳播，互聯(lián)網(wǎng)有著發(fā)布的信息量大、傳播速度快和易保存等特點(diǎn)，因此在互聯(lián)網(wǎng)上發(fā)布和傳播的信息越來(lái)越多。這也導(dǎo)致了在互聯(lián)網(wǎng)變成了獲取情報(bào)信息的一種重要渠道，傳統(tǒng)技術(shù)中通常是通過(guò)爬蟲(chóng)引擎獲取發(fā)布在互聯(lián)網(wǎng)上的情報(bào)信息。

然而，隨著互聯(lián)網(wǎng)上發(fā)布的信息越來(lái)越多，建設(shè)的網(wǎng)站也越來(lái)越多，不同網(wǎng)站的網(wǎng)頁(yè)信息采取的編碼格式也不盡相同。雖然傳統(tǒng)技術(shù)中通過(guò)同時(shí)運(yùn)行多個(gè)爬蟲(chóng)引擎，以實(shí)現(xiàn)快速地獲取情報(bào)信息，但是面對(duì)種類繁多的編碼格式，在無(wú)法針對(duì)性地配置轉(zhuǎn)碼方案的情況下，也無(wú)法準(zhǔn)確地獲取情報(bào)信息，使得搜集情報(bào)信息的工作效率較低。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高搜集情報(bào)信息的工作效率的情報(bào)信息的搜集方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種情報(bào)信息的搜集方法，該方法包括：

獲取種子資源定位符；

根據(jù)已搜集資源定位符列表篩選該種子資源定位符；

將篩選后的種子資源定位符加入情報(bào)信息搜集列表中；

按照該情報(bào)信息搜集列表中種子資源定位符的排列順序依次選取種子資源定位符；

根據(jù)選取的種子資源定位符，使用爬蟲(chóng)引擎獲取相應(yīng)的頁(yè)面信息；

根據(jù)該頁(yè)面信息選取預(yù)設(shè)轉(zhuǎn)碼方案；

根據(jù)該預(yù)設(shè)轉(zhuǎn)碼方案將該頁(yè)面信息轉(zhuǎn)碼，得到通用格式的情報(bào)信息。

在一個(gè)實(shí)施例中，該根據(jù)該頁(yè)面信息選取預(yù)設(shè)轉(zhuǎn)碼方案，包括：

從該頁(yè)面信息中讀取元信息；

根據(jù)該元信息獲取該頁(yè)面信息的編碼格式；

根據(jù)該頁(yè)面信息的編碼格式選取預(yù)設(shè)轉(zhuǎn)碼方案；

該根據(jù)預(yù)設(shè)轉(zhuǎn)碼方案將該頁(yè)面信息轉(zhuǎn)碼，得到通用格式的情報(bào)信息，包括：

當(dāng)檢測(cè)到該頁(yè)面信息的編碼格式?jīng)]有相應(yīng)的預(yù)設(shè)轉(zhuǎn)碼方案時(shí)，則

根據(jù)該預(yù)設(shè)轉(zhuǎn)碼方案中的通用轉(zhuǎn)碼方案將該頁(yè)面信息轉(zhuǎn)碼，得到通用格式的情報(bào)信息。

在一個(gè)實(shí)施例中，該方法還包括：

當(dāng)接收到導(dǎo)出該通用格式的情報(bào)信息的指令時(shí)，則

根據(jù)該指令所指定的格式選取相應(yīng)的轉(zhuǎn)碼方案；

按照選取的轉(zhuǎn)碼方案將該通用格式的情報(bào)信息轉(zhuǎn)換成該指定的格式的情報(bào)信息文檔。

在一個(gè)實(shí)施例中，該按照該情報(bào)信息搜集列表中種子資源定位符的排列順序依次選取種子資源定位符之后，該方法還包括：

根據(jù)選取的種子資源定位符計(jì)算出相應(yīng)的校驗(yàn)碼；

當(dāng)檢測(cè)到該校驗(yàn)碼的數(shù)值不在當(dāng)前的爬蟲(chóng)引擎被分配的區(qū)間內(nèi)時(shí)，則