[發明專利]一種實時數據處理中維度關聯的方法及系統

有效

• 申請號: 201910569815.4
• 申請日: 2019-06-27
• 公開（公告）號: CN110471914B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 施斌;彭虎;佘國俊;李成;孫遷
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 黃玉東

本發明屬于通信網絡安全領域，公開了一種實時數據處理中維度關聯的方法，該方法包括：待處理的維度表數據經過實時流處理；根據表數據的數據量大小選擇直接緩存到本地或者緩存動態熱數據；監聽維度表數據是否發生變化，如數據發生變化，則觸發更新，刷新本地緩存；最后輸出更新后的維度表數據，以后處理的數據則都以新維度數據進行關聯。本發明還公開了一種實時數據處理中維度關聯的系統。本發明解決了現有技術中存在的實時關聯維度表的效率低及維度數據不能及時更新的問題。

技術領域

本發明屬于大數據實時數倉建設技術領域，尤其涉及一種實時數據處理中維度關聯的方法及系統。

背景技術

隨著互聯網技術的飛速發展，采集的數據量也在不斷增加，數據的在助力業務的發展方面越發重要。實時數倉建設顯得尤為的重要。數據處理過程中，我們需要根據業務的需求把業務數據的事實表進行拉寬處理。方便下游數據產品或數據應用能夠更方便的、更快捷的進行數據分析。

目前傳統的實時分析技術，存在如下的問題：1.維度表數據量龐大時，面對龐大的采集日志處理時存在關聯維度表TPS低的性能瓶頸。 2.維度表變化后不能夠及時的更新，存在維度關聯不上的問題。

發明內容

本發明的目的是，提供一種實時數據處理中維度關聯的方法，以解決解決現有技術中存在的實時關聯維度表的效率低及維度數據不能及時更新的問題。

本發明采用的技術方案如下：

一種實時數據處理中維度關聯的方法，所述方法包括：

待處理的維度表數據經過實時流處理系統；

實時流處理系統根據表數據的數據量大小選擇直接緩存到本地或者緩存動態熱數據；

監聽維度表數據是否發生變化，如數據發生變化，則觸發更新；

輸出更新后的維度表數據。

進一步地，所述方法還包括：用戶對維度表數據的更新是通過界面進行配置以調整表數據的相關信息。

進一步地，通過心跳機制來觸發判斷維度表數據是否發生變化。

進一步地，維度表數據根據數據量大小存儲于不同類型的數據庫中，當實際的維度表數據量大于設定的基礎數據量時，為大表，選擇使用Hbase數據庫作為底層數據的存儲；當實際的維度表數據量小于設定的基礎數據量時，為小表，選擇Mysql數據庫作為底層數據的存儲。

進一步地，當數據量為小表時，通過 Mysql數據庫的A表、B表以及表之間的標記來保證服務在切換過程中的穩定性；當數據量為大表類型時，通過外置的數據交換任務進行底層數據的增量更新。

進一步地，調整表數據的相關信息包括表類型、表名稱、是否適用KV內存數據庫。

進一步地，在使用場景多的服務時，設置KV內存中間件。

進一步地，待處理的維度表數據進入實時流處理系統時，先驗證小表內存是否全部加載完成，并通過實時流計算的工作日志來定位判斷數據記載是否異常。

本發明的另一方面，還提供了一種實時數據處理中維度關聯的系統，所述系統包括：實時流處理系統、監聽模塊及輸出模塊，其中，

所述實時流處理模塊，將待處理的維度表數據，根據其數據量大小選擇直接緩存到本地或者緩存動態熱數據；

監聽模塊，監聽所述實時流處理系統中的維度表數據是否發生變化，如數據發生變化，則觸發更新；

輸出模塊，在維度表信息更新后輸出更新后的數據作為關聯數據。

進一步地，所述系統還包括：配置模塊，用以通過界面進行配置調整實時流處理模塊的維度信息。