[發明專利]一種移動終端及網絡爬蟲的實現方法

有效

• 申請號: 201611092280.9
• 申請日: 2016-11-30
• 公開（公告）號: CN106776934B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張琪;郭鳳閣;張淑燕
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/955;G06F16/901
• 代理公司: 深圳協成知識產權代理事務所(普通合伙) 44458
• 代理人: 章小燕

本發明實施例公開了一種移動終端及網絡爬蟲的實現方法，所述移動終端包括：確定單元，用于根據預先確定的種子節點序列確定種子節點序列對應的平衡樹；抓取單元，用于根據所述平衡樹對所述種子節點序列中的全部種子節點以及全部種子節點生成的所有節點進行抓取。

技術領域

本發明涉及計算機網絡技術，尤其涉及一種移動終端及網絡爬蟲的實現方法。

背景技術

隨著互聯網信息爆炸式的增長，搜索引擎扮演著越來越重要的角色。搜索引擎技術中，網絡爬蟲是重要的組成部分。網絡爬蟲可以按照一定的規則，自動地抓取頁面信息。網絡爬蟲工作的基本步驟包括：將待抓取的URL(Uniform Resource Locator，統一資源定位符)放入待抓取隊列；從待抓取隊列中取出一個URL；從所述URL指向的網站上抓取相關頁面信息；將抓取到的頁面信息保存至頁面庫中；將已經抓取完的URL放入已抓取URL隊列。在抓取網頁信息的過程中，根據網頁的抓取策略，不斷從當前頁面上抽取新的URL放入隊列，直到滿足某種停止條件。然后將抓取到的網頁信息存儲在搜索引擎的服務器中，從而可以加快用戶的搜索速度。

網絡爬蟲在進行信息抓取的時候，需要根據所要獲得的信息定制配置文件。配置文件中包含所要爬取信息的入口鏈接，劃定所要爬取的信息所在區域，表明所要爬取的信息如何進行翻頁擴展，如何從網頁中準確的獲取具體的每一項信息等等。也就是說，配置文件定義了網絡爬蟲進行抓取的流程，以及所要獲取的結果。

在實現本發明的過程中，發明人發現現有技術中至少存在如下問題：

在現有網絡爬蟲的實現方法中，采用邊爬邊下載內容的方式進行抓取，不支持多人協同爬取，執行效率低下。

發明內容

本發明的主要目的在于提供一種移動終端及網絡爬蟲的實現方法，可以支持多人同時爬取，能夠提高執行效率。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供了一種移動終端，所述移動終端包括：確定單元和抓取單元；

所述確定單元，用于根據預先確定的種子節點序列確定種子節點序列對應的平衡樹；

所述抓取單元，用于根據所述平衡樹對所述種子節點序列中的全部種子節點以及全部種子節點生成的所有節點進行抓取。

在上述實施例中，所述移動終端還包括：轉化單元和存儲單元；

所述轉化單元，用于將所述平衡樹轉化為二叉樹；

所述存儲單元，用于將二叉樹保存在本地文件中。

在上述實施例中，所述確定單元包括：選擇子單元和添加子單元；

所述選擇子單元，用于當所述種子節點序列不為空時，在所述種子節點序列中選擇一個種子節點作為當前種子節點；

所述添加子單元，用于將所述當前種子節點生成的所有節點添加到所述平衡樹中。

在上述實施例中，所述添加子單元，具體用于將所述當前種子節點作為父節點，當所述父節點指向的子節點不為空時，在全部子節點中選擇一個子節點作為當前子節點；判斷所述當前子節點是否在所述平衡樹中；當所述當前子節點不在所述平衡樹中時，將所述當前子節點添加到所述平衡樹中，將所述當前子節點作為所述當前父節點，返回執行上述操作。

在上述實施例中，所述添加子單元，還用于當所述當前子節點不在所述平衡樹中時，將所述當前子節點添加到所述種子節點序列對應的有向有環圖中；當所述當前子節點在所述平衡樹中時，將所述當前子節點的碰撞次數加1，并將所述當前子節點添加到所述種子節點序列對應的有向有環圖中。

本發明實施例還提供了一種網絡爬蟲的實現方法，所述方法包括：

根據預先確定的種子節點序列確定種子節點序列對應的平衡樹；