[發明專利]一種實時數據處理中維度關聯的方法及系統

有效

• 申請號: 201910569815.4
• 申請日: 2019-06-27
• 公開（公告）號: CN110471914B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 施斌;彭虎;佘國俊;李成;孫遷
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 黃玉東

1.一種實時數據處理中維度關聯的方法，其特征在于，所述方法包括：

待處理的維度表數據經過實時流處理系統；

實時流處理系統根據表數據的數據量大小選擇直接緩存到本地或者緩存動態熱數據；維度表數據根據數據量大小存儲于不同類型的數據庫中，當實際的維度表數據量大于設定的基礎數據量時，為大表，選擇使用Hbase數據庫作為底層數據的存儲；當實際的維度表數據量小于設定的基礎數據量時，為小表，選擇Mysql數據庫作為底層數據的存儲；當數據量為小表時，通過 Mysql數據庫的A表、B表以及表之間的標記來保證服務在切換過程中的穩定性；當數據量為大表類型時，通過外置的數據交換任務進行底層數據的增量更新；

監聽維度表數據是否發生變化，如數據發生變化，則觸發更新；

輸出更新后的維度表數據。

2.如權利要求1所述的實時數據處理中維度關聯的方法，其特征在于，所述方法還包括：用戶對維度表數據的更新是通過界面進行配置以調整表數據的相關信息。

3.如權利要求1所述的實時數據處理中維度關聯的方法，其特征在于，通過心跳機制來觸發判斷維度表數據是否發生變化。

4.如權利要求2或3所述的實時數據處理中維度關聯的方法，其特征在于，調整表數據的相關信息包括表類型、表名稱、是否適用KV內存數據庫。

5.如權利要求4所述的實時數據處理中維度關聯的方法，其特征在于，在使用場景多的服務時，設置KV內存中間件。

6.如權利要求1所述的實時數據處理中維度關聯的方法，其特征在于，待處理的維度表數據進入實時流處理系統時，先驗證小表內存是否全部加載完成，并通過實時流計算的工作日志來定位判斷數據記載是否異常。

7.一種實時數據處理中維度關聯的系統，其特征在于，所述系統包括：實時流處理系統、監聽模塊及輸出模塊，其中，

所述實時流處理模塊，將待處理的維度表數據，根據其數據量大小選擇直接緩存到本地或者緩存動態熱數據；維度表數據根據數據量大小存儲于不同類型的數據庫中，當實際的維度表數據量大于設定的基礎數據量時，為大表，選擇使用Hbase數據庫作為底層數據的存儲；當實際的維度表數據量小于設定的基礎數據量時，為小表，選擇Mysql數據庫作為底層數據的存儲；當數據量為小表時，通過 Mysql數據庫的A表、B表以及表之間的標記來保證服務在切換過程中的穩定性；當數據量為大表類型時，通過外置的數據交換任務進行底層數據的增量更新；

監聽模塊，監聽所述實時流處理系統中的維度表數據是否發生變化，如數據發生變化，則觸發更新；

輸出模塊，在維度表信息更新后輸出更新后的數據作為關聯數據。

8.如權利要求7所述的實時數據處理中維度關聯的系統，其特征在于，所述系統還包括：配置模塊，用以通過界面進行配置調整實時流處理模塊的維度信息。