[發(fā)明專利]一種關(guān)鍵詞熱度自動(dòng)控制方法

有效

• 申請?zhí)枺?/td>: 201310524337.8
• 申請日: 2013-10-30
• 公開（公告）號: CN103544294B
• 公開（公告）日: 2017-02-01
• 發(fā)明（設(shè)計(jì)）人: 黎小為;廖耀華
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京邦信陽專利商標(biāo)代理有限公司11012
• 代理人: 王昭林,胡冰

技術(shù)領(lǐng)域

本發(fā)明涉及信息檢索和收集技術(shù)，更具體地，涉及一種關(guān)鍵詞熱度自動(dòng)控制方法。

背景技術(shù)

互聯(lián)網(wǎng)已經(jīng)成為時(shí)下最重要的新媒體之一，互聯(lián)網(wǎng)提供了這樣一個(gè)平臺(tái)，用戶既可以作為瀏覽者，在互聯(lián)網(wǎng)上瀏覽感興趣的信息，也可以作為發(fā)布者，在互聯(lián)網(wǎng)上發(fā)布內(nèi)容供別人瀏覽。互聯(lián)網(wǎng)最大的特點(diǎn)就是：發(fā)布信息快速，信息傳播的速度快。例如以微博為例，如果有200萬個(gè)人關(guān)注該用戶，那么該用戶發(fā)布的信息會(huì)在瞬間傳播給這200萬人，而僅僅中國互聯(lián)網(wǎng)用戶已經(jīng)達(dá)到好幾億，正是由于這些特點(diǎn)，使得互聯(lián)網(wǎng)經(jīng)成為當(dāng)前最重要、最具影響力的傳播媒體。

因此，越來越多的企業(yè)都希望能夠?qū)崟r(shí)了解本企業(yè)在互聯(lián)網(wǎng)上的輿論導(dǎo)向，搜集信息以支持公司下一步發(fā)展戰(zhàn)略作出最快的調(diào)整。互聯(lián)網(wǎng)上的信息浩如煙海，如何有效地搜集本企業(yè)有用的信息，是當(dāng)前企業(yè)面臨的重要技術(shù)問題。

現(xiàn)在出現(xiàn)了輿情系統(tǒng)，該系統(tǒng)通過業(yè)務(wù)方設(shè)置的關(guān)鍵詞，使用網(wǎng)絡(luò)爬蟲實(shí)時(shí)的在互聯(lián)網(wǎng)上面抓取與之相關(guān)的信息，進(jìn)行數(shù)據(jù)分析后將有價(jià)值的信息推送給業(yè)務(wù)方。然而，不同業(yè)務(wù)方所訂閱的關(guān)鍵詞不同，怎樣調(diào)整關(guān)鍵詞的調(diào)度策略讓網(wǎng)絡(luò)爬蟲盡可能完整的、實(shí)時(shí)的獲取互聯(lián)網(wǎng)信息成為關(guān)鍵技術(shù)。

目前現(xiàn)有的方案是基于調(diào)度策略的人工控制關(guān)鍵詞熱度方法。首先通過人工設(shè)定關(guān)鍵詞的熱度(關(guān)鍵詞熱度越高那么該關(guān)鍵詞的調(diào)度越頻繁抓取頻率也就越高)，然后不斷去查找滿足調(diào)度條件的關(guān)鍵詞，推送到爬蟲抓取隊(duì)列，關(guān)鍵詞被推送一次之后，會(huì)重新設(shè)置下次被調(diào)度的時(shí)間，并等待下次調(diào)度，設(shè)置下次調(diào)度時(shí)間和關(guān)鍵詞的熱度相關(guān)。

然而，現(xiàn)有技術(shù)方案雖然可以根據(jù)人為的設(shè)置關(guān)鍵詞的熱度來控制、關(guān)鍵詞的抓取頻率，然而付出的代價(jià)和時(shí)間卻是巨大的，主要有以下兩個(gè)方面的缺點(diǎn)：

1、人力資源消耗大

人工控制關(guān)鍵詞的熱度必須要人力去互聯(lián)網(wǎng)上面調(diào)研關(guān)鍵詞熱度，一般的做法是人為的使用搜索引擎，將關(guān)鍵詞輸入搜索引擎然后統(tǒng)計(jì)該關(guān)鍵詞的搜索結(jié)果。而且關(guān)鍵詞的熱度是變化的，在關(guān)鍵詞數(shù)量多的情況下，每天需要大量人力太統(tǒng)計(jì)這些數(shù)據(jù)。

2、時(shí)間浪費(fèi)多

人工的統(tǒng)計(jì)關(guān)鍵詞熱度的方法，需要人為的去記錄數(shù)據(jù)然后去重新設(shè)置關(guān)鍵詞的熱度，完成這些步驟需要花費(fèi)的時(shí)間一定也是巨大的，不利于輿情系統(tǒng)時(shí)間的去監(jiān)控輿情動(dòng)態(tài)。

3、關(guān)鍵詞熱度設(shè)置受個(gè)人主觀意識影響

因?yàn)殛P(guān)鍵詞熱度設(shè)置是人工判別，不僅容易帶來人為失誤設(shè)置熱度錯(cuò)誤，而且，認(rèn)為設(shè)置和事件效果可能會(huì)受個(gè)人主觀影響，想當(dāng)然的設(shè)置關(guān)鍵詞熱度，造成調(diào)度頻率混亂。

發(fā)明內(nèi)容

基于現(xiàn)在方案的缺點(diǎn)，我們提出一種基于調(diào)度策略的自動(dòng)控制關(guān)鍵詞熱度方法，該方法將有效的解決現(xiàn)在方案所存在的人力資源、時(shí)間資源浪費(fèi)缺點(diǎn)，同時(shí)免受個(gè)人主觀意識影響。

本發(fā)明的一種關(guān)鍵詞熱度自動(dòng)控制方法包括：1）為關(guān)鍵詞設(shè)置關(guān)鍵詞熱度；2）將滿足調(diào)度條件的關(guān)鍵詞推送到抓取隊(duì)列；3）從抓取隊(duì)列中提取一個(gè)關(guān)鍵詞用搜索引擎進(jìn)行搜索；4）根據(jù)搜索引擎的搜索結(jié)果調(diào)整關(guān)鍵詞熱度。

進(jìn)一步，在步驟2）中，所述調(diào)度條件為，該關(guān)鍵詞的調(diào)度時(shí)間小于或等于系統(tǒng)當(dāng)前時(shí)間。

進(jìn)一步，步驟2）還包括：通過如下方式更新該關(guān)鍵詞的調(diào)度時(shí)間，調(diào)度時(shí)間=系統(tǒng)當(dāng)前時(shí)間+調(diào)度時(shí)間間隔。

進(jìn)一步，所述調(diào)度時(shí)間間隔根據(jù)該關(guān)鍵詞的熱度而設(shè)定。

進(jìn)一步，在步驟3）中，利用網(wǎng)絡(luò)爬蟲從抓取隊(duì)列中提取一個(gè)關(guān)鍵詞進(jìn)行搜索。

進(jìn)一步，在步驟3）中，所述網(wǎng)絡(luò)爬蟲使用關(guān)鍵詞拼接微博搜索鏈接利用微博搜索引擎進(jìn)行搜索。

進(jìn)一步，在步驟3）中，用IE搜索引擎進(jìn)行搜索；在步驟4）中，解析所述IE搜索引擎的搜索結(jié)果頁面，包括：使用jsoup工具將搜索結(jié)果頁面轉(zhuǎn)化成DOM樹結(jié)構(gòu)；使用jsoup的DOM選擇器；選擇指定標(biāo)簽下的內(nèi)容，使用正則表達(dá)式抽取出數(shù)字作為關(guān)鍵詞相關(guān)網(wǎng)頁數(shù)量，以及掃描該關(guān)鍵詞是否被屏蔽；以相關(guān)網(wǎng)頁數(shù)量和關(guān)鍵詞是否被屏蔽的信息作為搜索結(jié)果。

進(jìn)一步，在步驟4）中，根據(jù)兩次搜索結(jié)果的相關(guān)網(wǎng)頁數(shù)量的增量來調(diào)整關(guān)鍵詞熱度。

進(jìn)一步，在步驟4）中，如果關(guān)鍵詞被屏蔽，則刪除該關(guān)鍵詞。

本發(fā)明的技術(shù)方案中，通過抓取結(jié)果狀態(tài)報(bào)告機(jī)制自動(dòng)控制關(guān)鍵詞熱度，來替代人工設(shè)置關(guān)鍵詞熱度，節(jié)省了大量的人力資源和時(shí)間資源，同時(shí)也提高了信息抓取的及時(shí)性和熱度設(shè)置的準(zhǔn)確性。

附圖說明

圖1為本發(fā)明的方法的流程圖。

具體實(shí)施方式