[發明專利]基于Hbase的索引生成方法及裝置

有效

• 申請號: 201910917506.1
• 申請日: 2019-09-26
• 公開（公告）號: CN110704436B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 劉善炎;李濤
• 申請（專利權）人: 鄭州阿帕斯科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/28
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 朱文杰

本發明實施例公開了一種基于Hbase的索引生成方法及裝置，以解決現有技術中數據索引結構不合理、導致數據查詢速率低的問題。該方法包括：獲取指定時間段內產生的基礎數據；確定各所述事件維度分別對應的維度熱度，將各所述多維事件按照所述維度熱度進行順序調整，得到有序多維事件；統計各所述有序多維事件的事件熱度，將各所述有序多維事件及各所述有序多維事件分別對應的事件熱度進行組合，形成Hbase的行鍵數據；將所述行鍵數據寫入所述Hbase中，以生成所述Hbase的行鍵索引。該技術方案在生成行鍵索引時，能夠使得行鍵索引的結構更加符合用戶的需求，并且按照各事件維度的維度熱度排列多維事件，還能夠加快Hbase數據的查詢速率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于Hbase的索引生成方法及裝置。

背景技術

HBase基于Hadoop構建，是一個分布式、面向列的并可伸縮的海量數據存儲型數據庫。它和一般關系型數據庫的最大區別是：HBase很適合存儲非結構化的數據，其常被用來存放一些結構簡單、但數據量非常大的數據文件(通常在TB級別以上)，如歷史訂單記錄、日志數據等。HBase采用Key-Value(鍵-值)的列存儲，Rowkey(行鍵)就是Key-Value的Key，表示唯一一行。HBase是根據Rowkey來進行檢索的，系統通過找到某個Rowkey(或者某個Rowkey范圍)所在的Region(區域)，然后將查詢數據的請求路由到該Region獲取數據。

在傳統的大數據多維分析技術中，最常用的就是Apache Kylin(阿帕奇麒麟)技術框架。Kylin采用的是OLAP(聯機分析處理)引擎，首先建立其Data Model(數據模型)，然后通過配置Cube(多維立方體)屬性，將基礎的事實表進行MapReduce(一種編程模型)構建，預計算出所有Cuboid(一種維度組合)的數據并保存到Hbase中。然而這種方式的構建Cube是根據固定的維度順序組成Hbase的行鍵，使得檢索Hbase數據的響應速度慢。

因此，需要提供更合理的RowKey設計，從而使檢索數據的查詢速度更高效。

發明內容

本發明實施例提供一種基于Hbase的索引生成方法及裝置，以解決現有技術中數據索引結構不合理、導致數據查詢速率低的問題。

為解決上述技術問題，本發明實施例是這樣實現的：

第一方面，本發明實施例提供了一種基于Hbase的索引生成方法，包括：

獲取指定時間段內產生的基礎數據；所述基礎數據包括用戶標識及各所述用戶標識分別對應的多維事件；所述多維事件包括多個事件維度下的事件內容；

確定各所述事件維度分別對應的維度熱度，將各所述多維事件按照所述維度熱度進行順序調整，得到有序多維事件；

統計各所述有序多維事件的事件熱度，將各所述有序多維事件及各所述有序多維事件分別對應的事件熱度進行組合，形成Hbase的行鍵數據；所述事件熱度包括用戶針對各所述有序多維事件的第一點擊次數；

將所述行鍵數據寫入所述Hbase中，以生成所述Hbase的行鍵索引；所述行鍵索引用于根據輸入的第一有序多維事件查詢所述第一有序多維事件對應的第一事件熱度。

第二方面，本發明實施例還提供了一種基于Hbase的索引生成裝置，包括：

獲取模塊，用于獲取指定時間段內產生的基礎數據；所述基礎數據包括用戶標識及各所述用戶標識分別對應的多維事件；所述多維事件包括多個事件維度下的事件內容；

確定模塊，用于確定各所述事件維度分別對應的維度熱度，將各所述多維事件按照所述維度熱度進行順序調整，得到有序多維事件；