[發(fā)明專利]一種多維度拆分的計(jì)算方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310376344.8
• 申請(qǐng)日: 2013-08-26
• 公開(kāi)（公告）號(hào): CN104424229B
• 公開(kāi)（公告）日: 2019-02-22
• 發(fā)明（設(shè)計(jì)）人: 李浩;武磊;曾偉紀(jì);蔡馥晗
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/28
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

1.一種多維度拆分的計(jì)算方法，其特征在于，包括：

根據(jù)預(yù)設(shè)的指標(biāo)以及維度信息生成遞推拓?fù)洌鲞f推拓?fù)浒ňS度組合以及各維度組合之間的遞推路徑，所述維度組合包括各維度的屬性名稱；

根據(jù)預(yù)設(shè)固化策略，確定固化維度組合并確定構(gòu)成最優(yōu)固化維度組合的運(yùn)算路徑；

接收數(shù)據(jù)上報(bào)點(diǎn)上報(bào)的海量數(shù)據(jù)，并對(duì)所述海量數(shù)據(jù)進(jìn)行預(yù)處理，獲得處理數(shù)據(jù)；

根據(jù)預(yù)設(shè)計(jì)算規(guī)則以及所述固化維度組合以及所述最優(yōu)固化維度組合的運(yùn)算路徑，實(shí)時(shí)地對(duì)所述處理數(shù)據(jù)執(zhí)行不同的累加計(jì)算，獲得累加計(jì)算結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的指標(biāo)以及維度信息生成遞推拓?fù)洌ǎ?/p>

根據(jù)當(dāng)前待處理業(yè)務(wù)，確定并預(yù)配置待計(jì)算的指標(biāo)以及維度信息，所述維度信息包括各維度屬性以及維度之間層級(jí)關(guān)系；

根據(jù)所述指標(biāo)以及所述維度信息，生成遞推拓?fù)洹?/p>

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收數(shù)據(jù)上報(bào)點(diǎn)上報(bào)的海量數(shù)據(jù)，包括：

根據(jù)預(yù)配置的所述數(shù)據(jù)上報(bào)點(diǎn)，接收所述數(shù)據(jù)上報(bào)點(diǎn)通過(guò)不同的數(shù)據(jù)通道上報(bào)的海量數(shù)據(jù)，所述數(shù)據(jù)通道用于對(duì)接收到的所述海量數(shù)據(jù)進(jìn)行合并數(shù)據(jù)包處理或者傳輸失敗重傳處理或者壓縮處理。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述海量數(shù)據(jù)進(jìn)行預(yù)處理，獲得處理數(shù)據(jù)之后，還包括：

將由寬表對(duì)應(yīng)的所述處理數(shù)據(jù)采用全內(nèi)存或者內(nèi)存列表的方式保存。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)預(yù)設(shè)計(jì)算規(guī)則以及所述固化維度組合以及所述最優(yōu)固化維度組合的運(yùn)算路徑，實(shí)時(shí)地對(duì)所述處理數(shù)據(jù)執(zhí)行不同的累加計(jì)算，獲得累加計(jì)算結(jié)果，包括：

根據(jù)一致性哈希(Hash)將所述處理數(shù)據(jù)分發(fā)至不同的計(jì)算節(jié)點(diǎn)；

獲取半序結(jié)構(gòu)(Lattice)，所述Lattice包括所述固化維度組合以及所述最優(yōu)固化維度組合的運(yùn)算路徑；

根據(jù)所述預(yù)設(shè)計(jì)算規(guī)則以及所述半序結(jié)構(gòu)，確定待計(jì)算的頂層維度組合(TopView)列表；

各個(gè)計(jì)算節(jié)點(diǎn)根據(jù)待計(jì)算的指標(biāo)類型，實(shí)時(shí)地對(duì)所述處理數(shù)據(jù)執(zhí)行不同的累加計(jì)算，獲得累加計(jì)算結(jié)果，所述指標(biāo)類型包括簡(jiǎn)單累加和去重累加。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述各個(gè)計(jì)算節(jié)點(diǎn)根據(jù)待計(jì)算的指標(biāo)類型，實(shí)時(shí)地對(duì)所述處理數(shù)據(jù)執(zhí)行不同的累加計(jì)算，獲得累加計(jì)算結(jié)果，包括：

當(dāng)所述指標(biāo)類型為所述簡(jiǎn)單累加時(shí)，根據(jù)所述指標(biāo)以及接收到的處理數(shù)據(jù)，從所述待計(jì)算的TopView列表中抽取相關(guān)列；

將所述相關(guān)列以及所述指標(biāo)的值寫(xiě)入維度組合(View)結(jié)果表，將所述View結(jié)果表中的數(shù)據(jù)與當(dāng)天View數(shù)據(jù)累加，獲得累加計(jì)算結(jié)果，所述累加計(jì)算結(jié)果采用全內(nèi)存或者內(nèi)存列表的方式保存。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述各個(gè)計(jì)算節(jié)點(diǎn)根據(jù)待計(jì)算的指標(biāo)類型，實(shí)時(shí)地對(duì)所述處理數(shù)據(jù)執(zhí)行不同的累加計(jì)算，獲得累加計(jì)算結(jié)果，包括：

當(dāng)所述指標(biāo)類型為所述去重累加時(shí)，根據(jù)所述待計(jì)算的TopView列表以及接收到的處理數(shù)據(jù)，確定不重復(fù)的主鍵(Key)列表；

比較所述Key列表以及保存的由所述處理數(shù)據(jù)對(duì)應(yīng)的寬表，當(dāng)所述寬表中不存在所述Key列表中的第一列時(shí)，將所述第一列插入所述寬表中，所述第一列表示所述Key列表中的任一列；

根據(jù)插入所述寬表中的列構(gòu)成的新Key列表，確定TopView的新相關(guān)列；

將所述新相關(guān)列以及所述指標(biāo)的值寫(xiě)入View結(jié)果表，將所述View結(jié)果表中的數(shù)據(jù)與當(dāng)天View數(shù)據(jù)累加，獲得累加計(jì)算結(jié)果，所述累加計(jì)算結(jié)果采用全內(nèi)存或者內(nèi)存列表的方式保存。

8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，在所述獲得累加計(jì)算結(jié)果之后，還包括：

定期將保存的由所述處理數(shù)據(jù)對(duì)應(yīng)的寬表以及所述累加計(jì)算結(jié)果合并到分布式數(shù)據(jù)庫(kù)中。