[發(fā)明專利]大量url數(shù)據(jù)任意字段索引及檢索方法

有效

• 申請?zhí)枺?/td>: 201310554903.X
• 申請日: 2013-11-08
• 公開（公告）號: CN103605704B
• 公開（公告）日: 2017-02-01
• 發(fā)明（設(shè)計(jì)）人: 毛睿;岳磅;陸敏華
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市興科達(dá)知識產(chǎn)權(quán)代理有限公司44260
• 代理人: 杜啟剛

1.一種大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，在建立索引時(shí)，包括以下步驟：

101）反轉(zhuǎn)url；

102）按設(shè)定的切分長度對url進(jìn)行切分成關(guān)鍵字；

103）建立倒排索引表；

在進(jìn)行索引時(shí)，包括以下步驟：

104）反轉(zhuǎn)作為檢索關(guān)鍵詞的url片段；

105）按設(shè)定的切分長度對檢索url片段進(jìn)行切分作為檢索用的關(guān)鍵字；

106）在倒排索引表中分別用切分后的檢索關(guān)鍵字進(jìn)行查找；

107）查找結(jié)果的交集指向的url為檢索到的url。

2.根據(jù)權(quán)利要求1所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，

201）在步驟101之后，步驟102之前，用分隔符對url進(jìn)行切分；

202）在步驟104之后，步驟105之前，用分隔符對檢索url片段進(jìn)行切分。

3.根據(jù)權(quán)利要求1所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，

301）在步驟101之后，步驟102之前，對url數(shù)據(jù)進(jìn)行壓縮；并建立基礎(chǔ)數(shù)據(jù)表和一對多的轉(zhuǎn)換表；在基礎(chǔ)數(shù)據(jù)表中將同樣的url數(shù)據(jù)列為一條，并建立與之對應(yīng)的ID；在轉(zhuǎn)換表中列出與新建ID對應(yīng)的所有url數(shù)據(jù)的編號。

4.根據(jù)權(quán)利要求1所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，所述的倒排索引表即是一個(gè)K-V結(jié)構(gòu)的記錄集合，其中K是檢索關(guān)鍵字，V即是對應(yīng)的記錄編號集合；倒排索引表即是以檢索關(guān)鍵字為鍵有序存儲的數(shù)據(jù)結(jié)構(gòu)。

5.根據(jù)權(quán)利要求1所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，對url或url片段進(jìn)行切分時(shí)，以設(shè)定的切分長度向后切分，最后剩余長度如果不足設(shè)定的切分長度時(shí)，則按設(shè)定的切分長度從后向前取字符作為最后的關(guān)鍵字，全部關(guān)鍵字的長度等于設(shè)定的切分長度。

6.根據(jù)權(quán)利要求1所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，設(shè)定的切分長度為20。

7.根據(jù)權(quán)利要求2所述的大量url數(shù)據(jù)任意字段索引及檢索方法，其特征在于，所述分隔符是“？”和/或“&”。