[發明專利]一種HBase二級索引的實現方法

在審

• 申請號: 202110107933.0
• 申請日: 2021-01-27
• 公開（公告）號: CN112800058A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 趙圣杰;徐偉濤;高傳集;胡清
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/215;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種HBase二級索引的實現方法，其特征在于：將Elasticsearch搜索引擎、NiFi數據流平臺和HBase分布式列存儲數據庫進行整合；

NiFi數據流平臺負責抽取源數據寫入Elasticsearch搜索引擎和HBase分布式列存儲數據庫，Elasticsearch搜索引擎負責存儲被索引的數據及HBase分布式列存儲數據庫的rowkey主鍵，HBase分布式列存儲數據庫負責存儲全量的詳細數據；

根據查詢條件搜索Elasticsearch搜索引擎獲取HBase分布式列存儲數據庫的rowkey主鍵，利用rowkey主鍵作為查詢條件查詢存儲在HBase分布式列存儲數據庫中的詳細數據，從而為HBase提供高效的查詢檢索功能。

2.根據權利要求1所述的HBase二級索引的實現方法，其特征在于包括以下步驟：：

S1.NiFi數據流平臺配置數據源的地址，所述數據源地址是關系數據庫url地址、遠程目錄或者數據流工具；

S2.NiFi數據流平臺配置數據源的字段與HBase分布式列存儲數據庫的字段對應關系，如果HBase分布式列存儲數據庫中對應的存儲表不存在，NiFi數據流平臺根據配置信息自動創建HBase表；

S3.NiFi數據流平臺配置需要寫入Elasticsearch搜索引擎的字段，如果Elasticsearch搜索引擎中對應的存儲數據的索引不存在，NiFi數據流平臺根據配置信息自動創建索引；

S4.啟動NiFi數據流平臺抽取源數據寫入Elasticsearch搜索引擎的索引；

S5.啟動NiFi數據流平臺抽取源數據寫入HBase分布式列存儲數據庫的表；

S6.用戶輸入明細查詢sql，點擊查詢按鈕，Elasticsearch搜索引擎根據用戶輸入的sql查詢對應的索引，返回存儲在索引中的HBase分布式列存儲數據庫的主鍵，根據返回的HBase分布式列存儲數據庫的主鍵查詢HBase分布式列存儲數據庫對應的表，返回詳細數據，并在頁面展示；

S7.用戶輸入統計分析sql，點擊查詢按鈕，Elasticsearch搜索引擎的統計接口接收統計分析sql并進行統計分析，以json形式返回統計分析結果。

3.根據權利要求2所述的HBase二級索引的實現方法，其特征在于：所述步驟S1中，NiFi數據流平臺抽取其他數據源的數據或者讀取遠程共享目錄中文件內容，并對內容進行清洗、轉換和分割，再寫入其他的數據存儲組件；

所述數據流工具為kafka流處理平臺。

4.根據權利要求2所述的HBase二級索引的實現方法，其特征在于：所述步驟S2中，NiFi數據流平臺中配置HBase分布式列存儲數據庫的連接信息，包括HBase分布式列存儲數據庫的票據、zookeeper的IP地址和HBase分布式列存儲數據庫的端口號，確保NiFi數據流平臺能夠連通HBase分布式列存儲數據庫。

5.根據權利要求2所述的HBase二級索引的實現方法，其特征在于：所述步驟S3中，NiFi數據流平臺配置Elasticsearch搜索引擎的連接信息，包括Elasticsearch搜索引擎的端口號和IP地址，確保NiFi數據流平臺能夠與Elasticsearch搜素引擎連通；

NiFi數據流平臺還要配置源數據字段名稱與Elasticsearch搜索引擎中對應的索引的字段的對應關系；而且NiFi數據流平臺只需要配置業務需要的查詢統計字段和寫入Elasticsearch搜索引擎的HBase分布式列存儲數據庫的rowkey主鍵字段即可；所述步驟S4中，不作為查詢條件的字段和不用來統計數據的字段不寫入Elasticsearch搜索引擎，從而節省服務器的內存緩存空間和磁盤存儲空間，提高查詢和檢索效率。

6.根據權利要求2所述的HBase二級索引的實現方法，其特征在于：所述步驟S5中，NiFi數據流平臺寫入HBase分布式列存儲數據庫的數據為全量數據，包含所有的源數據字段信息。