[發明專利]基于HBase大數據的實時全文檢索系統及其實現方法

有效

• 申請號: 201610522972.6
• 申請日: 2016-07-05
• 公開（公告）號: CN107577680B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 沈國權
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/23;G06F16/2455;G06F16/22
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

本發明提供一種基于HBase大數據的實時全文檢索系統及其實現方法，系統包括：HBase集群復制模塊，與HBase集群同時啟動并實時監測是否有slave cluster的RegionServer注冊進來，若有則在HBase集群有數據變動時將該數據變動實時同步到已注冊進來的RegionServer；索引服務器模塊，實現RegionServer的接口以模擬一個slave cluster的RegionServer，包括：調用HBase的ReplicationAdmin接口往HBase集群復制模塊注冊，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群傳輸過來的數據，并在接受HBase集群的數據后，對該數據按照搜索引擎的格式進行轉換并傳輸給搜索引擎模塊；搜索引擎模塊，根據轉換后的數據建立全文索引，以實現用戶對HBase數據的實時全文檢索。能基于Hbase作為數據存儲實現高效率、低延時的實時全文檢索。

技術領域

本發明涉及計算機處理技術領域，尤其涉及一種基于HBase大數據的實時全文檢索系統及其實現方法。

背景技術

HBase作為一種NoSQL數據庫被越來越多的運用于線上生產環境中存儲海量數據。HBase是一種鍵值(key-value)存儲、面向列族的數據庫，它能根據需要查詢的鍵值key快速的定位到相應的行。但是很多場景中，用戶往往只知道所需查詢的value值，而不知道value所對應的key。甚至用戶只知道value值中的某一部分，想像搜索引擎一樣，能全文檢索只包含部分值的所有行數，這個時候HBase往往對這種需求只能去掃描整張表，取出所有行的值，然后看看這個值是否有用戶所需要查詢的內容，這種辦法效率低下，而且隨著HBase存儲數量越來越大的情況下，延時非常嚴重，根本不能滿足用戶的需求。

鑒于此，如何基于Hbase作為數據存儲實現高效率、低延時的實時全文檢索成為目前需要解決的技術問題。

發明內容

為解決上述的技術問題，本發明提供一種基于HBase大數據的實時全文檢索系統及其實現方法，能夠基于Hbase作為數據存儲實現高效率、低延時的實時全文檢索。

第一方面，本發明提供一種基于HBase大數據的實時全文檢索系統，包括：HBase集群復制模塊，索引服務器模塊和搜索引擎模塊；

所述HBase集群復制模塊，用于與HBase集群同時啟動，并實時監測是否有從集群slave cluster的區域服務器RegionServer注冊進來，若有，則在HBase集群有數據變動時將所述數據變動實時同步到已注冊進來的slave cluster的RegionServer；

所述索引服務器模塊，用于實現RegionServer的接口以模擬一個slave cluster的RegionServer，包括：調用HBase的ReplicationAdmin接口往所述HBase集群復制模塊注冊，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群傳輸過來的數據；并在接受HBase集群的數據后，對所述數據按照搜索引擎的格式進行轉換，并將轉換后的數據傳輸給所述搜索引擎模塊；

所述搜索引擎模塊，用于根據所述轉換后的數據建立全文索引，以實現用戶對HBase數據的實時全文檢索。

優選地，所述數據變動，包括：在HBase集群的表上刪除數據、插入數據、和/或更新數據。

優選地，所述索引服務器模塊為一個遠程過程調用RPC服務器。

第二方面，本發明提供一種基于上述基于HBase大數據的實時全文檢索系統的實現方法，包括：

創建索引服務器模塊，所述索引服務器模塊調用HBase的ReplicationAdmin接口往所述HBase集群復制模塊注冊，告知HBase集群它是slave cluster的RegionServer，要接受HBase集群傳輸過來的數據；