[發(fā)明專利]基于HBase大數(shù)據(jù)的實時全文檢索系統(tǒng)及其實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201610522972.6
• 申請日: 2016-07-05
• 公開（公告）號: CN107577680B
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 沈國權(quán)
• 申請（專利權(quán)）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/23;G06F16/2455;G06F16/22
• 代理公司: 北京友聯(lián)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

1.一種基于HBase大數(shù)據(jù)的實時全文檢索系統(tǒng)，其特征在于，包括：HBase集群復制模塊，索引服務(wù)器模塊和搜索引擎模塊；

所述HBase集群復制模塊，用于與HBase集群同時啟動，并實時監(jiān)測是否有從集群slavecluster的區(qū)域服務(wù)器RegionServer注冊進來，若有，則在HBase集群有數(shù)據(jù)變動時將所述數(shù)據(jù)變動實時同步到已注冊進來的slave cluster的RegionServer；

所述索引服務(wù)器模塊，用于實現(xiàn)RegionServer的接口以模擬一個slave cluster的RegionServer，包括：調(diào)用HBase的ReplicationAdmin接口往所述HBase集群復制模塊注冊，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群傳輸過來的數(shù)據(jù)；并在接受HBase集群的數(shù)據(jù)后，對所述數(shù)據(jù)按照搜索引擎的格式進行轉(zhuǎn)換，并將轉(zhuǎn)換后的數(shù)據(jù)傳輸給所述搜索引擎模塊；

所述搜索引擎模塊，用于根據(jù)所述轉(zhuǎn)換后的數(shù)據(jù)建立全文索引，以實現(xiàn)用戶對HBase數(shù)據(jù)的實時全文檢索；

所述索引服務(wù)器模塊為一個遠程過程調(diào)用RPC服務(wù)器；

所述HBase集群復制模塊通過調(diào)用RPC方法replicateLogEntries將所述數(shù)據(jù)變動實時同步到所述索引服務(wù)器模塊。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)變動，包括：在HBase集群的表上刪除數(shù)據(jù)、插入數(shù)據(jù)、和/或更新數(shù)據(jù)。

3.一種基于權(quán)利要求1或2所述的基于HBase大數(shù)據(jù)的實時全文檢索系統(tǒng)的實現(xiàn)方法，其特征在于，包括：

創(chuàng)建索引服務(wù)器模塊，所述索引服務(wù)器模塊調(diào)用HBase的ReplicationAdmin接口往所述HBase集群復制模塊注冊，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群傳輸過來的數(shù)據(jù)；

在HBase集群啟動的同時，HBase集群復制模塊啟動并實時監(jiān)測是否有slave cluster的RegionServer注冊進來，若有，則在HBase集群有數(shù)據(jù)變動時將所述數(shù)據(jù)變動實時同步到已注冊進來的slave cluster的RegionServer；

所述索引服務(wù)器模塊在接收到HBase集群傳輸?shù)臄?shù)據(jù)后，對所述數(shù)據(jù)按照搜索引擎的格式進行轉(zhuǎn)換，并將轉(zhuǎn)換后的數(shù)據(jù)傳輸給所述搜索引擎模塊；

所述搜索引擎模塊根據(jù)所述轉(zhuǎn)換后的數(shù)據(jù)建立全文索引，以實現(xiàn)用戶對HBase數(shù)據(jù)的實時全文檢索；

所述索引服務(wù)器模塊為一個遠程過程調(diào)用RPC服務(wù)器，在所述HBase集群復制模塊監(jiān)測到所述索引服務(wù)器模塊模擬一個slave cluster的RegionServer注冊進來且HBase集群有數(shù)據(jù)變動時，所述HBase集群復制模塊通過調(diào)用RPC方法replicateLogEntries將所述數(shù)據(jù)變動實時同步到所述索引服務(wù)器模塊。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在啟動HBase集群之前，還包括：

修改HBase配置文件，以實現(xiàn)在HBase集群啟動的同時啟動HBase集群復制模塊。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述數(shù)據(jù)變動，包括：在HBase集群的表上刪除數(shù)據(jù)、插入數(shù)據(jù)、和/或更新數(shù)據(jù)。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述HBase集群復制模塊實時監(jiān)測是否有從集群slave cluster的區(qū)域服務(wù)器RegionServer注冊進來，若有，則在HBase集群有數(shù)據(jù)變動時將所述數(shù)據(jù)變動實時同步到已注冊進來的slave cluster的RegionServer，包括：

在用戶通過HBase集群的客戶端的API接口對HBase集群存儲的數(shù)據(jù)進行數(shù)據(jù)變動時，HBase集群將所述數(shù)據(jù)變動的操作記錄在HLog日志文件內(nèi)，所述HBase集群復制模塊實時監(jiān)控所述HLog日志文件內(nèi)容的變化，在所述HBase集群復制模塊監(jiān)測到所述索引服務(wù)器模塊模擬一個slave cluster的RegionServer注冊進來且所述HLog日志文件內(nèi)容有數(shù)據(jù)變動的操作時，將所述數(shù)據(jù)變動實時同步到所述索引服務(wù)器模塊。