[發(fā)明專利]一種多維數(shù)據(jù)的統(tǒng)計(jì)方法、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811288677.4
• 申請日: 2018-10-31
• 公開（公告）號: CN109460442A
• 公開（公告）日: 2019-03-12
• 發(fā)明（設(shè)計(jì)）人: 孫承應(yīng);華超;于潔塵
• 申請（專利權(quán)）人: 廣州品唯軟件有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2458
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 趙賽;蔡碧慧

本發(fā)明公開了一種多維數(shù)據(jù)的統(tǒng)計(jì)方法，其包括以下步驟：根據(jù)預(yù)設(shè)的維度掃描廣告投放日志文件得到廣告投放基本維表，并基于維度將其轉(zhuǎn)換成廣告投放多維組合維表；根據(jù)用戶點(diǎn)擊廣告日志文件獲取用戶點(diǎn)擊廣告日志表、以及根據(jù)用戶瀏覽商品日志文件獲取用戶瀏覽商品日志表；然后根據(jù)用戶點(diǎn)擊廣告日志表、用戶瀏覽商品日志表以及廣告投放多維組合維表生成多維日志事實(shí)表；基于維度將多維日志事實(shí)表轉(zhuǎn)換成多維數(shù)據(jù)業(yè)務(wù)表，并將多維數(shù)據(jù)業(yè)務(wù)表存儲(chǔ)于數(shù)據(jù)庫中。本發(fā)明通過使用聚合的方式將多維數(shù)據(jù)置于同一數(shù)據(jù)業(yè)務(wù)表中，可大大減少數(shù)據(jù)業(yè)務(wù)表的數(shù)量，降低了數(shù)據(jù)業(yè)務(wù)表的膨脹概率。本發(fā)明還提供了一種電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種多維數(shù)據(jù)的統(tǒng)計(jì)方法、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，唯品會(huì)是一個(gè)以搶購和折扣為模式的電商網(wǎng)站，每天更新數(shù)百萬商品，為了讓這些商品能夠最大限度地被消費(fèi)者接觸和購買，唯品會(huì)會(huì)在其他網(wǎng)站上、搜索引擎、APP應(yīng)用等媒體渠道投放大量廣告。這樣消費(fèi)者在投放廣告的網(wǎng)站、APP等平臺上看到投放的廣告后，會(huì)通過點(diǎn)擊到達(dá)唯品會(huì)網(wǎng)站和APP應(yīng)用來流量和購買商品。而為了統(tǒng)計(jì)用戶通過廣告達(dá)到唯品會(huì)網(wǎng)站或APP的行為軌跡和購買轉(zhuǎn)換數(shù)據(jù)，幫助廣告投放的運(yùn)營人員分析廣告的投放效果，同時(shí)提供結(jié)算功能的數(shù)據(jù)報(bào)表支持，就需要對用戶點(diǎn)擊廣告的記錄進(jìn)行統(tǒng)計(jì)而形成相應(yīng)的報(bào)表數(shù)據(jù)，供運(yùn)營人員分析。

但是，由于報(bào)表中涉及到多個(gè)維度，在統(tǒng)計(jì)時(shí)就會(huì)涉及到多維數(shù)據(jù)的計(jì)算方法。而目前大多數(shù)互聯(lián)網(wǎng)公司，一般采用在Hadoop系統(tǒng)中編寫Hive SQL聚合不同維度的指標(biāo)報(bào)表，具體為：首先業(yè)務(wù)分析人員提出報(bào)表計(jì)算需求；然后數(shù)據(jù)工程師根據(jù)報(bào)表需求編寫HiveSQL語句加工產(chǎn)出報(bào)告，并將報(bào)告計(jì)算結(jié)果導(dǎo)出到業(yè)務(wù)數(shù)據(jù)表(比如通過存儲(chǔ)在MySQL這樣的關(guān)系型數(shù)據(jù)庫中)；最后應(yīng)用開發(fā)工程師通過查詢業(yè)務(wù)數(shù)據(jù)表將業(yè)務(wù)數(shù)據(jù)表展示給業(yè)務(wù)分析人員，進(jìn)而完成對于數(shù)據(jù)的統(tǒng)計(jì)。但是，由于多維數(shù)據(jù)模型維度組合的多變性，業(yè)務(wù)人員的需求不同，那么最終統(tǒng)計(jì)的業(yè)務(wù)數(shù)據(jù)表也不同。

比如在統(tǒng)計(jì)精確去重類指標(biāo)時(shí)，假設(shè)廣告觸發(fā)的唯一用戶數(shù)指標(biāo)為UV，通常需要針對每一個(gè)這樣的去重指標(biāo)設(shè)計(jì)一套Hive SQL以及對應(yīng)的業(yè)務(wù)數(shù)據(jù)表。假設(shè)需要統(tǒng)計(jì)投放在今日頭條APP和天天快報(bào)APP的廣告給唯品會(huì)APP帶來的每個(gè)城市的唯一用戶數(shù)其具體計(jì)算如下：

通常來說，首先需要設(shè)計(jì)如表1，該表1表示表示不同的平臺下每個(gè)城市所產(chǎn)生的而用戶數(shù)的報(bào)表(其中對于平臺、城市均屬于不同維度)。