[發(fā)明專利]一種搜索引擎的擴(kuò)容方法及搜索服務(wù)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310178009.7
• 申請(qǐng)日: 2013-05-14
• 公開（公告）號(hào): CN104156367B
• 公開（公告）日: 2017-12-01
• 發(fā)明（設(shè)計(jì)）人: 柳明
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11262
• 代理人: 解婷婷,栗若木

1.一種搜索引擎的擴(kuò)容方法，包括：

為用于擴(kuò)容的檢索節(jié)點(diǎn)創(chuàng)建擴(kuò)容任務(wù)；

用于擴(kuò)容的檢索節(jié)點(diǎn)領(lǐng)取到擴(kuò)容任務(wù)后，在分布式文件系統(tǒng)上復(fù)制最新時(shí)間點(diǎn)的全量索引，然后消費(fèi)所述分布式文件系統(tǒng)中從所述最新時(shí)間點(diǎn)開始、到當(dāng)前時(shí)間點(diǎn)為止的所有增量數(shù)據(jù)；所述全量索引是對(duì)全量數(shù)據(jù)所做的索引；所述全量數(shù)據(jù)是以全量周期為間隔導(dǎo)入到所述分布式文件系統(tǒng)上的源數(shù)據(jù)；所述增量數(shù)據(jù)是以固定時(shí)間間隔定時(shí)導(dǎo)入到所述分布式文件系統(tǒng)中、以時(shí)間快照方式存儲(chǔ)的源數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述為用于擴(kuò)容的檢索節(jié)點(diǎn)創(chuàng)建擴(kuò)容任務(wù)的步驟包括：

當(dāng)請(qǐng)求量增加，導(dǎo)致當(dāng)前檢索節(jié)點(diǎn)無法承載時(shí)，創(chuàng)建增加各列索引的副本的擴(kuò)容任務(wù)；所述用于擴(kuò)容的檢索節(jié)點(diǎn)為用于承載新增副本的檢索節(jié)點(diǎn)，個(gè)數(shù)為列索引的個(gè)數(shù)與所增加的副本個(gè)數(shù)的乘積；

當(dāng)索引規(guī)模變大，導(dǎo)致單次請(qǐng)求平均響應(yīng)變慢時(shí)，創(chuàng)建增加列索引的個(gè)數(shù)的擴(kuò)容任務(wù)；所述用于擴(kuò)容的檢索節(jié)點(diǎn)為用于承載新增列索引的檢索節(jié)點(diǎn)，個(gè)數(shù)為增加的列索引個(gè)數(shù)與各列索引副本個(gè)數(shù)的乘積。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

對(duì)于全量索引中的各索引行，分別將各索引行的唯一鍵對(duì)于虛擬組的總個(gè)數(shù)取模，得到各索引行的取模結(jié)果；分別將各索引行分入組號(hào)等于該索引行的取模結(jié)果的虛擬組中；

分別將每個(gè)虛擬組的組號(hào)對(duì)于列索引的總個(gè)數(shù)取模，得到各虛擬組的取模結(jié)果；分別將各虛擬組對(duì)應(yīng)于分片號(hào)等于該虛擬組取模結(jié)果的列索引；

所述檢索節(jié)點(diǎn)在分布式文件系統(tǒng)上復(fù)制最新時(shí)間點(diǎn)的全量索引的步驟包括：

檢索節(jié)點(diǎn)在分布式文件系統(tǒng)上復(fù)制本檢索節(jié)點(diǎn)所承載的列索引對(duì)應(yīng)的虛擬組中最新時(shí)間點(diǎn)的各索引行。

4.如權(quán)利要求1所述的方法，其特征在于，還包括：

客戶端節(jié)點(diǎn)周期性從分布式文件系統(tǒng)導(dǎo)入全量數(shù)據(jù)；

每次導(dǎo)入后，承載列索引的各檢索節(jié)點(diǎn)中具有控制角色的檢索節(jié)點(diǎn)消費(fèi)導(dǎo)入的全量數(shù)據(jù)，生成全量索引并將該全量索引回流到分布式文件系統(tǒng)；將回流到分布式文件系統(tǒng)上的全量索引復(fù)制到本地作為新的全量索引，將索引路徑指向所述新的全量索引。

5.如權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

客戶端節(jié)點(diǎn)啟動(dòng)后連接分布式服務(wù)框架系統(tǒng)，判斷是否已生成本身所承載的搜索服務(wù)的路徑；

如果該路徑?jīng)]生成，則客戶端節(jié)點(diǎn)生成該路徑并將自身IP以該路徑的數(shù)據(jù)注冊(cè)；如果該路徑已生成，則判斷該路徑下的數(shù)據(jù)是否和自身IP一致，如果一致則該客戶端節(jié)點(diǎn)獲得執(zhí)行增量、全量數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)的權(quán)限；如果不一致則監(jiān)視該路徑；

如果獲得執(zhí)行增量、全量數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)的權(quán)限的客戶端節(jié)點(diǎn)在預(yù)定時(shí)間長(zhǎng)度內(nèi)沒有任何心跳檢查，則所述分布式服務(wù)框架系統(tǒng)刪除所述路徑；所有監(jiān)視了該路徑的客戶端節(jié)點(diǎn)將觸發(fā)一次監(jiān)視者事件；所述監(jiān)視者事件是指重新生成所述路徑并將自身IP以該路徑的數(shù)據(jù)注冊(cè)。

6.如權(quán)利要求1到5中任一項(xiàng)所述的方法，其特征在于，所述消費(fèi)分布式文件系統(tǒng)中從所述最新時(shí)間點(diǎn)開始、到當(dāng)前時(shí)間點(diǎn)為止的所有增量數(shù)據(jù)的步驟后還包括：

用于擴(kuò)容的檢索節(jié)點(diǎn)對(duì)外發(fā)布搜索服務(wù)；

中心節(jié)點(diǎn)在用于擴(kuò)容的檢索節(jié)點(diǎn)發(fā)布搜索服務(wù)后，保存該搜索服務(wù)分布的索引存儲(chǔ)結(jié)構(gòu)的視圖關(guān)系；

在所有用于擴(kuò)容的檢索節(jié)點(diǎn)發(fā)布搜索服務(wù)成功后，中心節(jié)點(diǎn)將所述視圖關(guān)系同步到分布式服務(wù)框架系統(tǒng)中；

所述分布式服務(wù)框架系統(tǒng)將該視圖關(guān)系推送到屬于該搜索服務(wù)的客戶端節(jié)點(diǎn)。

7.一種搜索服務(wù)系統(tǒng)，包括：檢索節(jié)點(diǎn)、客戶端節(jié)點(diǎn)、分布式文件系統(tǒng)；

其特征在于，還包括：

中心節(jié)點(diǎn)，用于為用于擴(kuò)容的檢索節(jié)點(diǎn)創(chuàng)建擴(kuò)容任務(wù)；

用于擴(kuò)容的檢索節(jié)點(diǎn)用于當(dāng)領(lǐng)取到擴(kuò)容任務(wù)后在分布式文件系統(tǒng)上復(fù)制最新時(shí)間點(diǎn)的全量索引，然后消費(fèi)所述分布式文件系統(tǒng)中從所述最新時(shí)間點(diǎn)開始、到當(dāng)前時(shí)間點(diǎn)為止的所有增量數(shù)據(jù)；所述全量索引是對(duì)全量數(shù)據(jù)所做的索引；所述全量數(shù)據(jù)是所述客戶端節(jié)點(diǎn)以全量周期為間隔導(dǎo)入到所述分布式文件系統(tǒng)上的源數(shù)據(jù)；所述增量數(shù)據(jù)是所述客戶端節(jié)點(diǎn)以固定時(shí)間間隔定時(shí)導(dǎo)入到所述分布式文件系統(tǒng)中并以時(shí)間快照方式存儲(chǔ)的源數(shù)據(jù)。