[發(fā)明專(zhuān)利]大量url數(shù)據(jù)任意字段索引及檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310554903.X
• 申請(qǐng)日: 2013-11-08
• 公開(kāi)（公告）號(hào): CN103605704B
• 公開(kāi)（公告）日: 2017-02-01
• 發(fā)明（設(shè)計(jì)）人: 毛睿;岳磅;陸敏華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 深圳市興科達(dá)知識(shí)產(chǎn)權(quán)代理有限公司44260
• 代理人: 杜啟剛

[技術(shù)領(lǐng)域]

本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)地址，尤其涉及一種大量url數(shù)據(jù)任意字段索引及檢索方法。

[背景技術(shù)]

傳統(tǒng)的文本信息檢索主要使用分詞與倒排索引技術(shù)，但是傳統(tǒng)的切詞方法并不能滿(mǎn)足url（Uniform?Resource?Locator,統(tǒng)一資源定位符）任意字段匹配檢索的需求。傳統(tǒng)的字符串匹配技術(shù)都只是針對(duì)少量的文本數(shù)據(jù)，對(duì)于大量url數(shù)據(jù)并不適合，在數(shù)據(jù)量比較大（GB級(jí)以上）的情況下，其檢索效率不能滿(mǎn)足用戶(hù)需求。

[發(fā)明內(nèi)容]

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種在數(shù)據(jù)量比較大的情況下，檢索效率較高的大量url數(shù)據(jù)任意字段索引及檢索方法。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是，一種大量url數(shù)據(jù)任意字段索引及檢索方法，在建立索引時(shí)，包括以下步驟：

101）反轉(zhuǎn)url；

102）按設(shè)定的切分長(zhǎng)度對(duì)url進(jìn)行切分成關(guān)鍵字；

103）建立倒排索引表；

在進(jìn)行索引時(shí)，包括以下步驟：

104）反轉(zhuǎn)作為檢索關(guān)鍵詞的url片段；

105）按設(shè)定的切分長(zhǎng)度對(duì)檢索url片段進(jìn)行切分作為檢索用的關(guān)鍵字；

106）在倒排索引表中分別用切分后的檢索關(guān)鍵字進(jìn)行查找；

107）查找結(jié)果的交集指向的url為檢索到的url。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，

201）在步驟101之后，步驟102之前，用分隔符對(duì)url進(jìn)行切分；

202）在步驟104之后，步驟105之前，用分隔符對(duì)檢索url片段進(jìn)行切分。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，

301）在步驟101之后，步驟102之前，對(duì)url數(shù)據(jù)進(jìn)行壓縮；并建立基礎(chǔ)數(shù)據(jù)表和一對(duì)多的轉(zhuǎn)換表；在基礎(chǔ)數(shù)據(jù)表中將同樣的url數(shù)據(jù)列為一條，并建立與之對(duì)應(yīng)的ID；在轉(zhuǎn)換表中列出與新建ID對(duì)應(yīng)的所有url數(shù)據(jù)的編號(hào)。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，所述的倒排索引表即是一個(gè)K-V結(jié)構(gòu)的記錄集合，其中K是檢索關(guān)鍵字，V即是對(duì)應(yīng)的記錄編號(hào)集合；倒排索引表即是以檢索關(guān)鍵字為鍵有序存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，對(duì)url或url片段進(jìn)行切分時(shí)，以設(shè)定的切分長(zhǎng)度向后切分，最后剩余長(zhǎng)度如果不足設(shè)定的切分長(zhǎng)度時(shí)，則按設(shè)定的切分長(zhǎng)度從后向前取字符作為最后的關(guān)鍵字，全部關(guān)鍵字的長(zhǎng)度等于設(shè)定的切分長(zhǎng)度。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，設(shè)定的切分長(zhǎng)度為20。

以上所述的大量url數(shù)據(jù)任意字段索引及檢索方法，所述分隔符是“？”和/或“&”。

本發(fā)明的索引及檢索方法對(duì)大量的url數(shù)據(jù)可以獲得較高的檢索效率。

[附圖說(shuō)明]

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。

圖1是本發(fā)明實(shí)施例倒排索引建立的流程圖。

圖2是本發(fā)明實(shí)施例使用倒排索引表執(zhí)行檢索的流程圖。

[具體實(shí)施方式]

（1）逐個(gè)字符切詞：

為了支持任意字符子串的快速匹配檢索，必須對(duì)url進(jìn)行逐個(gè)字符的細(xì)致切分，并使用切分后的url片段建立倒排索引，解決任意字符子串匹配檢索的問(wèn)題。

不限定長(zhǎng)度的逐個(gè)字符切分即是對(duì)字符串一個(gè)一個(gè)字符的向后滑動(dòng)切去子串

如abcdef切分如下：

abcdef

bcdef

cdef

def

ef

最后切分到只有兩個(gè)字符，之所以不切分到只有一個(gè)字符，是因?yàn)榍蟹殖鰜?lái)的子串都是將來(lái)建立索引所有的關(guān)鍵字，單個(gè)字符作為檢索關(guān)鍵字在實(shí)際的應(yīng)用中沒(méi)有意義。

對(duì)于www.baidu.com，則切分結(jié)果如下：