[發明專利]基于內容特征信息對鏈接進行去重處理的方法與設備

有效

• 申請號: 201010624368.7
• 申請日: 2010-12-31
• 公開（公告）號: CN102063498A
• 公開（公告）日: 2011-05-18
• 發明（設計）人: 姚遠
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京漢昊知識產權代理事務所(普通合伙) 11370
• 代理人: 羅朋

技術領域

本發明涉及網絡搜索技術領域，尤其涉及一種用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的技術。

背景技術

隨著互聯網的飛速發展，網絡中存在大量重復的資源文件。例如，大多數用戶會將其希望分享的資源文件上傳至網絡，對于熱門的、或者受歡迎度較高的資源文件，會被許多用戶上傳至網絡，這必然造成相同的資源文件被重復上傳。同時，不同的網站也會轉載、引用以及提供下載相同的資源文件，這進一步擴大了網絡中重復資源文件的數量。

然后，搜索引擎通過“網絡蜘蛛(spider)”、“網絡爬蟲(crawler)”或者“機器人(robot)”等網頁抓取工具從網絡中抓取網頁時，對抓取到的網頁不做區分，這些網頁中可能包括指向相同的資源文件的網頁。如果不對這些指向相同的資源文件的網頁去重，搜索引擎在抓取這些網頁后，需要大量的存儲空間來存儲這些網頁，并且還需要分配更多的檢測設備對存儲的網頁進行后期檢測。

因此，如何提供一種基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的方法，成為目前急需解決的問題之一。

發明內容

本發明的目的是提供一種用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的方法與設備。

根據本發明的一個方面，提供了一種用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的方法，其中，該方法包括以下步驟：

a獲取多個第一鏈接，其中，所述第一鏈接指向資源文件；

b對所述第一鏈接所指向的資源文件執行基于摘要算法的處理操作，以獲取與所述第一鏈接相對應的內容特征信息；

c根據所述內容特征信息，并結合所述第一鏈接所屬的站點，對所述多個第一鏈接進行分組，以獲取一個或多個第一鏈接集，其中，所述第一鏈接集包括多個從屬于同一站點且具有相同內容特征信息的第一鏈接；

d對所述第一鏈接集進行去重處理。

根據本發明的另一個方面，還提供了一種用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的設備，其中，該設備包括：

獲取裝置，用于獲取多個第一鏈接，其中，所述第一鏈接指向資源文件；

處理裝置，用于對所述第一鏈接所指向的資源文件執行基于摘要算法的處理操作，以獲取與所述第一鏈接相對應的內容特征信息；

分組裝置，用于根據所述內容特征信息，并結合所述第一鏈接所屬的站點，對所述多個第一鏈接進行分組，以獲取一個或多個第一鏈接集，其中，所述第一鏈接集包括多個從屬于同一站點且具有相同內容特征信息的第一鏈接；

去重裝置，用于對所述第一鏈接集進行去重處理。

與現有技術相比，本發明基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理，使得存儲這些鏈接的設備，如搜索引擎服務器減少相應的存儲空間，并降低了對這些鏈接進行后期檢測的成本，同時在將去重后的鏈接作為搜索結果提供給用戶時，使得用戶獲得更好的搜索體驗。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯：

圖1示出根據本發明一個方面的用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的去重設備的示意圖；

圖2示出根據本發明另一個方面的用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的方法流程圖。

附圖中相同或相似的附圖標記代表相同或相似的部件。

具體實施方式

下面結合附圖對本發明作進一步詳細描述。

圖1為根據本發明一個方面的設備示意圖，示出用于基于內容特征信息對指向相同資源文件的多個鏈接進行去重處理的去重設備。其中，去重設備1包括獲取裝置11、處理裝置12、分組裝置13和去重裝置14。具體地，獲取裝置11獲取多個第一鏈接，其中，所述第一鏈接指向資源文件；隨后，處理裝置12對所述第一鏈接所指向的資源文件執行基于摘要算法的處理操作，以獲取與所述第一鏈接相對應的內容特征信息；接著，分組裝置13根據所述內容特征信息，并結合所述第一鏈接所屬的站點，對所述多個第一鏈接進行分組，以獲取一個或多個第一鏈接集，其中，所述第一鏈接集包括多個從屬于同一站點且內容特征信息相同的第一鏈接；隨后，去重裝置14對所述第一鏈接集進行去重處理。