[發明專利]一種多維度拆分的計算方法及系統

有效

• 申請號: 201310376344.8
• 申請日: 2013-08-26
• 公開（公告）號: CN104424229B
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 李浩;武磊;曾偉紀;蔡馥晗
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

本發明公開一種多維度拆分的計算方法及系統，涉及多維度拆分技術領域，可以對海量數據進行實時多維度拆分計算，降低計算復雜度。本發明實施例通過根據預設的指標以及維度信息生成遞推拓撲；根據預設固化策略，確定固化維度組合并確定構成最優固化維度組合的運算路徑；接收數據上報點上報的海量數據，并對所述海量數據進行預處理，獲得處理數據；根據預設計算規則以及所述固化維度組合以及所述最優固化維度組合的運算路徑，實時地對所述處理數據執行不同的累加計算，獲得累加計算結果。本發明實施例提供的方案適于進行多維度拆分時采用。

技術領域

本發明涉及多維度拆分技術領域，尤其涉及一種多維度拆分的計算方法及系統。

背景技術

目前，對于大數據量的數據一般采用N+1的數據進行離線地多維度拆分，即通常進行多維度拆分計算時，首先統計一天接收到的所有數據，然后第二天將前一天統計的所有數據進行多維度拆分?，F有技術在進行多維度拆分計算時，通常采用關系型數據庫的OLAP（on-line analytical processing)，聯機分析處理）系統。關系型數據庫為由二維表及各個二維表之間的聯系組成的一個數據組織。采用現有技術進行多維度拆分計算時，根據用戶的數據請求，通過關系型數據庫的多個二維表以及多個二維表之間的聯系聯合計算，從而獲得符合用戶數據請求的多維組合結果。

然而，對大數據量的數據進行多維度拆分時，無法做到實時多維度拆分處理，采用OLAP系統僅能支持小數據量下的多維度拆分，并且由于基于關系型數據庫的多個二維表進行多維度拆分計算，計算復雜度較高，并且處理數據量較小。

發明內容

本發明的實施例提供一種多維度拆分的計算方法及系統，可以對海量數據進行實時多維度拆分計算，降低計算復雜度。

第一方面，本發明實施例提供一種多維度拆分的計算方法，包括：

根據預設的指標以及維度信息生成遞推拓撲，所述遞推拓撲包括維度組合以及各維度組合之間的遞推路徑，所述維度組合包括各維度的屬性名稱；

根據預設固化策略，確定固化維度組合并確定構成最優固化維度組合的運算路徑；

接收數據上報點上報的海量數據，并對所述海量數據進行預處理，獲得處理數據；

根據預設計算規則以及所述固化維度組合以及所述最優固化維度組合的運算路徑，實時地對所述處理數據執行不同的累加計算，獲得累加計算結果。

第二方面，本發明實施例提供一種多維度拆分的計算系統，包括：

運算決策模塊，用于根據預設的指標以及維度信息生成遞推拓撲，所述遞推拓撲包括維度組合以及各維度組合之間的遞推路徑，所述維度組合包括各維度的屬性名稱；

所述運算決策模塊，還用于根據預設固化策略，確定固化維度組合并確定構成最優固化維度組合的運算路徑；

預處理模塊，用于接收數據上報點上報的海量數據，并對所述海量數據進行預處理，獲得處理數據；

維度組合實時計算服務模塊，用于根據預設計算規則以及所述固化維度組合以及所述最優固化維度組合的運算路徑，實時地對所述處理數據執行不同的累加計算，獲得累加計算結果。

本發明實施例提供一種多維度拆分的計算方法及系統，通過根據預設的指標以及維度信息生成遞推拓撲，所述遞推拓撲包括維度組合以及各維度組合之間的遞推路徑，所述維度組合包括各維度的屬性名稱；根據預設固化策略，確定固化維度組合并確定構成最優固化維度組合的運算路徑；接收數據上報點上報的海量數據，并對所述海量數據進行預處理，獲得處理數據；根據預設計算規則以及所述固化維度組合以及所述最優固化維度組合的運算路徑，實時地對所述處理數據執行不同的累加計算，獲得累加計算結果。