[發(fā)明專(zhuān)利]一種索引建立方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201510857594.2
• 申請(qǐng)日: 2015-11-30
• 公開(kāi)（公告）號(hào): CN105488166A
• 公開(kāi)（公告）日: 2016-04-13
• 發(fā)明（設(shè)計(jì)）人: 虞航仲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京金山安全軟件有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;項(xiàng)京

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別涉及一種索引建立方法及裝置。

背景技術(shù)

索引服務(wù)是一項(xiàng)系統(tǒng)服務(wù)(IndexingService)，使用文檔篩選器讀取整個(gè)文 檔，并提取文檔和屬性傳遞給索引程序，這個(gè)過(guò)程稱(chēng)為“索引”。索引服務(wù)可以 從一組文檔中提取并組織信息，以便通過(guò)Windows搜索功能、索引服務(wù)查詢表 或Web瀏覽器快速容易地訪問(wèn)該信息，該信息可以包含文檔中的文本(內(nèi)容)、 文檔的特征和參數(shù)(屬性)。通過(guò)索引可以對(duì)信息進(jìn)行快速訪問(wèn)。

目前，建立索引通常有兩種方式。

第一種方法為：將從互聯(lián)網(wǎng)抓取的數(shù)據(jù)實(shí)時(shí)添加至索引數(shù)據(jù)庫(kù)中，建立索 引數(shù)據(jù)庫(kù)的索引。

第二種方法為：將從互聯(lián)網(wǎng)抓取的數(shù)據(jù)存儲(chǔ)在硬盤(pán)中；每隔一段時(shí)間，讀 取硬盤(pán)中的所存儲(chǔ)的所抓取到的數(shù)據(jù)；將所讀取的數(shù)據(jù)，添加至索引數(shù)據(jù)庫(kù)中； 建立索引數(shù)據(jù)庫(kù)的索引。

但是，應(yīng)用上述的第一種方式實(shí)時(shí)建立索引，會(huì)總占用系統(tǒng)資源，導(dǎo)致數(shù) 據(jù)檢索時(shí)速度很慢。應(yīng)用上述的第二種方式建立索引，需要先對(duì)存儲(chǔ)在硬盤(pán)中 的數(shù)據(jù)進(jìn)行讀取，讀取硬盤(pán)的速度很慢，導(dǎo)致索引建立較花費(fèi)時(shí)間。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種索引建立方法及裝置，以減少建立索引 的時(shí)間，提高數(shù)據(jù)檢索的速度。

為達(dá)到上述目的，本發(fā)明實(shí)施例公開(kāi)了一種索引建立方法，預(yù)先建立針對(duì) 目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)的第一索引庫(kù)，所述第一索引庫(kù)用于存儲(chǔ)預(yù)設(shè)時(shí)間段內(nèi)的 所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；所述方法包括：

從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；

將所獲得的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)存儲(chǔ)在緩存中；

每隔預(yù)設(shè)時(shí)間，讀取所述緩存中存儲(chǔ)的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；

將所讀取到的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，添加在所述第一索引庫(kù)中；

根據(jù)所述第一索引庫(kù)中存儲(chǔ)的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，建立針對(duì)所述第 一索引庫(kù)的索引。

可選的，所述方法還包括：

針對(duì)所述第一索引庫(kù)中存儲(chǔ)的每一所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，判斷該數(shù)據(jù) 是否符合預(yù)設(shè)規(guī)則；

如果是，將該數(shù)據(jù)存儲(chǔ)在黑名單列表中。

可選的，預(yù)先建立針對(duì)目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)的第二索引庫(kù)，所述第二索引 庫(kù)用于存儲(chǔ)所有所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；所述方法還包括：

當(dāng)當(dāng)前時(shí)間到達(dá)所述預(yù)設(shè)時(shí)間段對(duì)應(yīng)的時(shí)間截止點(diǎn)時(shí)，將所述第一索引庫(kù) 中的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)存儲(chǔ)在所述第二索引庫(kù)中；

根據(jù)所述第二索引庫(kù)中存儲(chǔ)的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，建立針對(duì)所述第 二索引庫(kù)的索引；

刪除所述第一索引庫(kù)中的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，繼續(xù)從互聯(lián)網(wǎng)中獲得 所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)。

可選的，所述從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)，包括：

利用爬蟲(chóng)技術(shù)，實(shí)時(shí)從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)。

可選的，所述預(yù)設(shè)時(shí)間，包括：

一秒鐘；或一分鐘。

為達(dá)到上述目的，本發(fā)明實(shí)施例公開(kāi)了一種索引建立裝置，包括：第一建 立模塊、獲得模塊、第一存儲(chǔ)模塊、讀取模塊、添加模塊和第二建立模塊，其 中，

所述第一建立模塊，用于預(yù)先建立針對(duì)目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)的第一索引庫(kù)， 所述第一索引庫(kù)用于存儲(chǔ)預(yù)設(shè)時(shí)間段內(nèi)的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；

所述獲得模塊，用于從互聯(lián)網(wǎng)中獲得所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)；

所述第一存儲(chǔ)模塊，用于將所述獲得模塊獲得的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù) 存儲(chǔ)在緩存中；

所述讀取模塊，用于每隔預(yù)設(shè)時(shí)間，讀取所述緩存中存儲(chǔ)的所述目標(biāo)數(shù)據(jù) 類(lèi)型的數(shù)據(jù)；

所述添加模塊，用于將所述讀取模塊讀取到的所述目標(biāo)數(shù)據(jù)類(lèi)型的數(shù)據(jù)， 添加在所述第一建立模塊建立的第一索引庫(kù)中；

所述第二建立模塊，用于根據(jù)所述第一索引庫(kù)中存儲(chǔ)的所述目標(biāo)數(shù)據(jù)類(lèi)型 的數(shù)據(jù)，建立針對(duì)所述第一索引庫(kù)的索引。

可選的，所述裝置還包括：判斷模塊和第二存儲(chǔ)模塊，其中，

所述判斷模塊，用于針對(duì)所述第一索引庫(kù)中存儲(chǔ)的每一所述目標(biāo)數(shù)據(jù)類(lèi)型 的數(shù)據(jù)，判斷該數(shù)據(jù)是否符合預(yù)設(shè)規(guī)則；

所述第二存儲(chǔ)模塊，用于在所述判斷模塊判斷結(jié)果為是的情況下，將該數(shù) 據(jù)存儲(chǔ)在黑名單中。

可選的，所述第一建立模塊，還用于：