[發(fā)明專(zhuān)利]分布式搜索系統(tǒng)和分布式搜索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310281838.8
• 申請(qǐng)日: 2013-07-05
• 公開(kāi)（公告）號(hào): CN103310023A
• 公開(kāi)（公告）日: 2013-09-18
• 發(fā)明（設(shè)計(jì)）人: 趙興成;劉亞軍;楊景慧;周輝;黃韶軍;姜佰勝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳中興網(wǎng)信科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京友聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)搜索技術(shù)領(lǐng)域，具體而言，涉及一種分布式搜索系統(tǒng)和一種分布式搜索方法。

背景技術(shù)

隨著網(wǎng)絡(luò)數(shù)據(jù)的爆發(fā)性增長(zhǎng)，大數(shù)據(jù)處理技術(shù)已經(jīng)成為數(shù)據(jù)處理的必要操作，在這些技術(shù)中，hadoop依靠其高穩(wěn)定性，可靠性，可擴(kuò)展性，逐漸成為大數(shù)據(jù)行業(yè)的標(biāo)準(zhǔn)，但是，hadoop在實(shí)時(shí)處理方面還存在缺陷，不能滿(mǎn)足實(shí)時(shí)性要求較高的場(chǎng)景，在hadoop的數(shù)據(jù)庫(kù)中進(jìn)行大量數(shù)據(jù)搜索時(shí)，搜索速度較慢，搜索結(jié)果的顯示相對(duì)于搜索操作的輸入有較大的時(shí)延，難以滿(mǎn)足用戶(hù)對(duì)實(shí)時(shí)搜索的需求。

因此，需要一種新的搜索技術(shù)，能夠提高大量數(shù)據(jù)搜索的響應(yīng)速度，提高對(duì)大量數(shù)據(jù)進(jìn)行搜索的實(shí)時(shí)性。

發(fā)明內(nèi)容

本發(fā)明正是基于上述問(wèn)題，提出了一種搜索技術(shù)，能夠提高大量數(shù)據(jù)搜索的響應(yīng)速度，提高對(duì)大量數(shù)據(jù)進(jìn)行搜索的實(shí)時(shí)性。

有鑒于此，本發(fā)明提出了一種分布式搜索系統(tǒng)，包括：索引創(chuàng)建單元，用于根據(jù)接收到的索引創(chuàng)建指令，為指定數(shù)據(jù)創(chuàng)建索引；索引分片單元，用于根據(jù)接收到的分片配置數(shù)據(jù)，將所述索引劃分為多個(gè)分片，并記錄所述多個(gè)分片中每個(gè)分片的分片信息；分片搜索單元，用于根據(jù)接收到的搜索條件確定至少一個(gè)分片信息，并根據(jù)至少一個(gè)分片信息在多個(gè)分片中搜索至少一個(gè)目標(biāo)分片，將所述至少一個(gè)目標(biāo)分片中每個(gè)目標(biāo)分片分別對(duì)應(yīng)的數(shù)據(jù)返回給用戶(hù)。

在該技術(shù)方案中，在對(duì)某個(gè)數(shù)據(jù)創(chuàng)建索引后，可以將索引劃分為多個(gè)分片，在搜索數(shù)據(jù)時(shí)，可以直接在搜索條件中輸入所要搜索的分片信息，由于一個(gè)索引對(duì)應(yīng)于多個(gè)分片，每個(gè)分片所對(duì)應(yīng)的數(shù)據(jù)量較小，從而對(duì)每個(gè)分片進(jìn)行搜索，相對(duì)于搜索索引所對(duì)應(yīng)的大塊數(shù)據(jù)，可以更快地搜索到每個(gè)分片所對(duì)應(yīng)的小塊數(shù)據(jù)，而將多個(gè)分片分別對(duì)應(yīng)的小塊數(shù)據(jù)返回給用戶(hù)，相對(duì)于將索引對(duì)應(yīng)的大塊數(shù)據(jù)返回給用戶(hù)的速度也較快，從而提高了數(shù)據(jù)搜索過(guò)程中查詢(xún)數(shù)據(jù)和返回結(jié)果的速度，提高了搜索數(shù)據(jù)的實(shí)時(shí)性。

在上述技術(shù)方案中，優(yōu)選地，所述索引創(chuàng)建單元還用于根據(jù)所述索引的創(chuàng)建過(guò)程中的元數(shù)據(jù)信息生成索引庫(kù)；所述索引分片單元用于將所述每個(gè)分片的分片信息記錄在所述索引庫(kù)中；所述分片搜索單元用于根據(jù)所述搜索條件，在所述索引庫(kù)中確定所述至少一個(gè)分片信息。

在該技術(shù)方案中，每個(gè)索引創(chuàng)建過(guò)程中都會(huì)生成相應(yīng)的元數(shù)據(jù)信息，其中記載著索引的具體信息，比如索引對(duì)應(yīng)數(shù)據(jù)，索引所在位置，索引的ID等信息，可以根據(jù)元數(shù)據(jù)創(chuàng)建索引的索引庫(kù)，從而在用戶(hù)輸入查找條件時(shí)，就可以根據(jù)查找條件在索引庫(kù)中方便且快速地查找到相應(yīng)的索引，在對(duì)索引分片后，可以將每個(gè)分片的分片信息也存儲(chǔ)在索引庫(kù)中，從而可以根據(jù)查找條件快速且準(zhǔn)確地確定相應(yīng)的分片信息，進(jìn)而搜索到相應(yīng)的分片。

在上述技術(shù)方案中，優(yōu)選地，所述分片配置數(shù)據(jù)包括：分片數(shù)量和/或分片節(jié)點(diǎn)；所述分片信息包括：分片標(biāo)識(shí)和/或所述分片節(jié)點(diǎn)。

在該技術(shù)方案中，用戶(hù)可以根據(jù)需要設(shè)置分片配置數(shù)據(jù)，從而設(shè)置索引的具體分片數(shù)量和每個(gè)分片分布到的節(jié)點(diǎn)（即分片在服務(wù)器中所處的位置），分片信息可以包括分片標(biāo)識(shí)和/或分片節(jié)點(diǎn)，即用戶(hù)可以通過(guò)在搜索指令中輸入所要搜索的分片的標(biāo)識(shí)和/或位置信息來(lái)查找到相應(yīng)的分片。

在上述技術(shù)方案中，優(yōu)選地，還包括：分片存儲(chǔ)單元，用于根據(jù)預(yù)設(shè)算法將所述每個(gè)分片分別布置到相應(yīng)的分片節(jié)點(diǎn)進(jìn)行存儲(chǔ)。

在該技術(shù)方案中，在對(duì)索引進(jìn)行分片后，需要將每個(gè)分片布置到服務(wù)器的節(jié)點(diǎn)上，比如對(duì)于hadoop中的索引進(jìn)行分片，那么可以根據(jù)hadoop中的固有算法來(lái)將索引的分片布置到hadoop服務(wù)器的若干個(gè)節(jié)點(diǎn)上，以完成分片的存儲(chǔ)。

在上述任一技術(shù)方案中，優(yōu)選地，所述索引分片單元還用于根據(jù)接收到的擴(kuò)展分片指令，將所述多個(gè)分片中的待擴(kuò)展分片劃分為多個(gè)子分片，并記錄所述多個(gè)子分片中每個(gè)子分片的分片信息。

在該技術(shù)方案中，可以根據(jù)需要對(duì)索引的分片數(shù)量進(jìn)行擴(kuò)展，具體可以調(diào)整索引的分片數(shù)量，重新對(duì)索引進(jìn)行分片，也可以對(duì)一個(gè)或多個(gè)分片進(jìn)行進(jìn)一步地劃分，將分片劃分為多個(gè)子分片，使用戶(hù)可以搜索到對(duì)應(yīng)更大數(shù)據(jù)量的分片或?qū)?yīng)更小數(shù)據(jù)量的分片。

本申請(qǐng)還提出了一種分布式搜索方法，包括：步驟202，根據(jù)接收到的索引創(chuàng)建指令，為指定數(shù)據(jù)創(chuàng)建索引；步驟204，根據(jù)接收到的分片配置數(shù)據(jù)，將所述索引劃分為多個(gè)分片，并記錄所述多個(gè)分片中每個(gè)分片的分片信息；步驟206，根據(jù)接收到的搜索條件確定至少一個(gè)分片信息，并根據(jù)所述至少一個(gè)分片信息在所述多個(gè)分片中搜索至少一個(gè)目標(biāo)分片，將所述至少一個(gè)目標(biāo)分片中每個(gè)目標(biāo)分片分別對(duì)應(yīng)的數(shù)據(jù)返回給用戶(hù)。