[發(fā)明專利]數(shù)據(jù)文件的索引查找方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410055060.3
• 申請(qǐng)日: 2014-02-18
• 公開(kāi)（公告）號(hào): CN104850564B
• 公開(kāi)（公告）日: 2019-07-05
• 發(fā)明（設(shè)計(jì)）人: 張?jiān)?/a>
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/13
• 分類號(hào): G06F16/13
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 何平;鄧云鵬

本發(fā)明提供了一種數(shù)據(jù)文件的索引查找方法和系統(tǒng)。所述方法包括：獲取進(jìn)行數(shù)據(jù)文件查找的關(guān)鍵詞；讀取索引文件，在所述索引文件中通過(guò)布隆過(guò)濾器定位所述關(guān)鍵詞所在的邏輯塊；查找得到與所述定位的邏輯塊相關(guān)聯(lián)的數(shù)據(jù)，并輸出所述查找得到的數(shù)據(jù)。所述系統(tǒng)包括：關(guān)鍵詞獲取模塊，用于獲取進(jìn)行數(shù)據(jù)文件查找的關(guān)鍵詞；邏輯塊定位模塊，用于讀取索引文件，在所述索引文件中通過(guò)布隆過(guò)濾器定位所述關(guān)鍵詞所在的邏輯塊；查找模塊，用于查找得到與所述定位的邏輯塊相關(guān)聯(lián)的數(shù)據(jù)，并輸出所述查找得到的數(shù)據(jù)。采用本發(fā)明能在高寫入速度的前提下提升查找速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)，特別是涉及一種數(shù)據(jù)文件的索引查找方法和系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，越來(lái)越多的業(yè)務(wù)系統(tǒng)存在著海量的日志數(shù)據(jù)，這些海量的日志數(shù)據(jù)將被存儲(chǔ)于硬盤中，以備日后需要的時(shí)候查詢使用。

這些海量的日志數(shù)據(jù)具備了寫入量非常巨大，讀取頻率相對(duì)較低的特點(diǎn)，因此傳統(tǒng)的日志數(shù)據(jù)的存儲(chǔ)大都直接存入硬盤中，而不做任何索引，以避免由于索引的存在而帶來(lái)的寫入速度的犧牲，但是，在對(duì)寫入的日志數(shù)據(jù)進(jìn)行查找時(shí)由于數(shù)據(jù)量過(guò)大，通常需要數(shù)個(gè)小時(shí)才能查找到所需要的數(shù)據(jù)，無(wú)法在保證高寫入速度的前提下提升查找速度。

而傳統(tǒng)的數(shù)據(jù)索引算法則是犧牲寫入速度而達(dá)到快速查找的目的，其中，傳統(tǒng)的數(shù)據(jù)索引算法包括了B樹(shù)索引算法、倒排索引算法和哈希索引算法等，因此也無(wú)法在保證高寫入速度的前提下提升查找速度。

發(fā)明內(nèi)容

基于此，有必要提供一種能在高寫入速度的前提下提升查找速度的數(shù)據(jù)文件的索引查找方法。

此外，還有必要提供一種能在高寫入速度的前提下提升查找速度的數(shù)據(jù)文件的索引查找系統(tǒng)。

一種數(shù)據(jù)文件的索引查找方法，包括如下步驟：

獲取進(jìn)行數(shù)據(jù)文件查找的關(guān)鍵詞；

讀取索引文件，在所述索引文件中通過(guò)布隆過(guò)濾器定位所述關(guān)鍵詞所在的邏輯塊；

查找得到與所述定位的邏輯塊相關(guān)聯(lián)的數(shù)據(jù)，并輸出所述查找得到的數(shù)據(jù)。

一種數(shù)據(jù)文件的索引查找系統(tǒng)，包括：

關(guān)鍵詞獲取模塊，用于獲取進(jìn)行數(shù)據(jù)文件查找的關(guān)鍵詞；

邏輯塊定位模塊，用于讀取索引文件，在所述索引文件中通過(guò)布隆過(guò)濾器定位所述關(guān)鍵詞所在的邏輯塊；

查找模塊，用于查找得到與所述定位的邏輯塊相關(guān)聯(lián)的數(shù)據(jù)，并輸出所述查找得到的數(shù)據(jù)。

上述數(shù)據(jù)文件的索引查找方法和系統(tǒng)進(jìn)行查找時(shí)，將獲取關(guān)鍵詞，讀取索引文件，以在索引文件中通過(guò)布隆過(guò)濾器定位關(guān)鍵詞所在的邏輯塊，此時(shí)與該邏輯塊相關(guān)聯(lián)的數(shù)據(jù)即為所需要的數(shù)據(jù)，由于不需要對(duì)所有的數(shù)據(jù)進(jìn)行查找，因此大大提升了查找速度，并且布隆過(guò)濾器較為簡(jiǎn)單，對(duì)于數(shù)據(jù)而言仍然是順序?qū)懭氲模ＷC了高寫入速度。

附圖說(shuō)明

圖1為一個(gè)實(shí)施例中數(shù)據(jù)文件的索引查找方法的流程圖；

圖2為圖1中讀取索引文件，在索引文件中通過(guò)布隆過(guò)濾器定位關(guān)鍵詞所在的邏輯塊的方法流程圖；

圖3為另一個(gè)實(shí)施例中數(shù)據(jù)文件的索引查找方法的流程圖；

圖4為一個(gè)實(shí)施例中數(shù)據(jù)文件的索引查找方法的應(yīng)用示意圖；

圖5為一個(gè)實(shí)施例中數(shù)據(jù)文件的索引查找系統(tǒng)的結(jié)構(gòu)示意圖；

圖6為圖5中邏輯定位模塊的結(jié)構(gòu)示意圖；

圖7為另一個(gè)實(shí)施例中數(shù)據(jù)文件的索引查找方法的結(jié)構(gòu)示意圖；

圖8為一個(gè)實(shí)施例中可運(yùn)行前述數(shù)據(jù)文件的索引查找方法的服務(wù)器結(jié)構(gòu)示意圖。