[發(fā)明專利]基于內(nèi)容特征信息對(duì)鏈接進(jìn)行去重處理的方法與設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201010624368.7
• 申請(qǐng)日: 2010-12-31
• 公開（公告）號(hào): CN102063498A
• 公開（公告）日: 2011-05-18
• 發(fā)明（設(shè)計(jì)）人: 姚遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京漢昊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11370
• 代理人: 羅朋

1.一種用于基于內(nèi)容特征信息對(duì)指向相同資源文件的多個(gè)鏈接進(jìn)行去重處理的方法，其中，該方法包括以下步驟：

a獲取多個(gè)第一鏈接，其中，所述第一鏈接指向資源文件；

b對(duì)所述第一鏈接所指向的資源文件執(zhí)行基于摘要算法的處理操作，以獲取與所述第一鏈接相對(duì)應(yīng)的內(nèi)容特征信息；

c根據(jù)所述內(nèi)容特征信息，并結(jié)合所述第一鏈接所屬的站點(diǎn)，對(duì)所述多個(gè)第一鏈接進(jìn)行分組，以獲取一個(gè)或多個(gè)第一鏈接集，其中，所述第一鏈接集包括多個(gè)從屬于同一站點(diǎn)且內(nèi)容特征信息相同的第一鏈接；

d對(duì)所述第一鏈接集進(jìn)行去重處理。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述步驟d中對(duì)所述第一鏈接集的去重處理基于以下至少任一項(xiàng)：

-所述第一鏈接集中第一鏈接的抓取時(shí)間；

-所述第一鏈接集中第一鏈接的產(chǎn)生時(shí)間；

-所述第一鏈接集中第一鏈接對(duì)應(yīng)的網(wǎng)頁(yè)的流量；

-所述第一鏈接集中第一鏈接對(duì)應(yīng)的網(wǎng)頁(yè)的權(quán)威度。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述步驟b還包括：

-按照預(yù)定數(shù)據(jù)量，對(duì)所述第一鏈接所指向的資源文件執(zhí)行所述處理操作，以獲取與所述第一鏈接相對(duì)應(yīng)的內(nèi)容特征信息。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述預(yù)定數(shù)據(jù)量基于以下至少任一項(xiàng)：

-所述資源文件的預(yù)定大小的頭部數(shù)據(jù)；

-所述資源文件的預(yù)定大小的尾部數(shù)據(jù)；

-所述資源文件的全部數(shù)據(jù)。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中，所述步驟c還包括：

-根據(jù)所述內(nèi)容特征信息對(duì)所述第一鏈接進(jìn)行分組，以獲取一個(gè)或多個(gè)候選鏈接集，其中，所述候選鏈接集包括多個(gè)內(nèi)容特征信息相同的第一鏈接；

-根據(jù)所述候選鏈接集中第一鏈接所屬的站點(diǎn)，對(duì)所述候選鏈接集進(jìn)行分組，以獲取所述第一鏈接集。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中，所述步驟c還包括：

-根據(jù)所述內(nèi)容特征信息，并結(jié)合所述第一鏈接所指向的資源文件的資源相關(guān)信息及所述第一鏈接所屬的站點(diǎn)，對(duì)所述第一鏈接進(jìn)行分組，以獲取所述第一鏈接集，其中，所述第一鏈接集包括多個(gè)從屬于同一站點(diǎn)且內(nèi)容特征信息及資源相關(guān)信息相同的第一鏈接。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述資源相關(guān)信息包括以下至少任一項(xiàng)：

-資源文件的格式；

-資源文件的時(shí)長(zhǎng)；

-資源文件的數(shù)據(jù)量大小；

-圖片類型資源文件的圖片尺寸。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，其中，該方法還包括：

-對(duì)所述第一鏈接集進(jìn)行預(yù)處理操作，以獲得待去重的第一鏈接集；

其中，所述預(yù)處理操作基于以下至少任一項(xiàng)：

-所述第一鏈接集中第一鏈接的數(shù)量；

-所述第一鏈接集中第一鏈接所指向的資源文件的大小；

其中，所述步驟d還包括：

-對(duì)所述待去重的第一鏈接集進(jìn)行去重處理。

9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，所述摘要算法包括以下至少任一項(xiàng)：

-MD5算法；

-SHA算法。

10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，其中，所述資源文件包括以下至少任一項(xiàng)：

-音樂文件；

-視頻文件；

-圖片文件；

-文本文件。

11.一種用于基于內(nèi)容特征信息對(duì)指向相同資源文件的多個(gè)鏈接進(jìn)行去重處理的去重設(shè)備，其中，該設(shè)備包括：

獲取裝置，用于獲取多個(gè)第一鏈接，其中，所述第一鏈接指向資源文件；

處理裝置，用于對(duì)所述第一鏈接所指向的資源文件執(zhí)行基于摘要算法的處理操作，以獲取與所述第一鏈接相對(duì)應(yīng)的內(nèi)容特征信息；

分組裝置，用于根據(jù)所述內(nèi)容特征信息，并結(jié)合所述第一鏈接所屬的站點(diǎn)，對(duì)所述多個(gè)第一鏈接進(jìn)行分組，以獲取一個(gè)或多個(gè)第一鏈接集，其中，所述第一鏈接集包括多個(gè)從屬于同一站點(diǎn)且內(nèi)容特征信息相同的第一鏈接；

去重裝置，用于對(duì)所述第一鏈接集進(jìn)行去重處理。