[發(fā)明專利]一種指標(biāo)結(jié)果數(shù)據(jù)統(tǒng)一存儲的方法及裝置

在審

• 申請?zhí)枺?/td>: 202310413526.1
• 申請日: 2023-04-17
• 公開（公告）號: CN116401254A
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 周建平;王勁
• 申請（專利權(quán)）人: 廣東數(shù)果科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06Q10/0639
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 孫中華

本發(fā)明提供的一種指標(biāo)結(jié)果數(shù)據(jù)統(tǒng)一存儲的方法，生成一個彈性數(shù)據(jù)表，其中包括：生成通用維度列、指標(biāo)列和指標(biāo)獨有的維度列；所述指標(biāo)獨有的維度列是指各指標(biāo)除了包含通用維度外，還具有的獨有維度，所述指標(biāo)獨有的維度列在表中有各自對應(yīng)的數(shù)據(jù)列；所述指標(biāo)獨有的維度列存放指標(biāo)結(jié)果數(shù)據(jù)中獨有的數(shù)據(jù)；將所述彈性數(shù)據(jù)表存儲于存儲介質(zhì)中。采用本申請的技術(shù)方案，能夠解決現(xiàn)有技術(shù)中數(shù)據(jù)表多、管理困難、數(shù)據(jù)冗余、不能直接查詢數(shù)據(jù)、取數(shù)復(fù)雜等技術(shù)問題。

技術(shù)領(lǐng)域

本申請涉及一種指標(biāo)結(jié)果數(shù)據(jù)存儲領(lǐng)域，尤其涉及指標(biāo)結(jié)果數(shù)據(jù)統(tǒng)一存儲的方法與裝置。

背景技術(shù)

在當(dāng)前激烈的市場競爭環(huán)境下，企業(yè)不斷加強內(nèi)部精細(xì)化管理，逐步構(gòu)建以指標(biāo)為核心的數(shù)字化管理體系，緊盯企業(yè)經(jīng)營核心指標(biāo)數(shù)據(jù)，建設(shè)并持續(xù)完善企業(yè)全面統(tǒng)一的指標(biāo)體系。與此同時，企業(yè)指標(biāo)管理的問題不斷放大，尤其是在大數(shù)據(jù)環(huán)境下海量指標(biāo)數(shù)據(jù)的存儲與查詢對數(shù)據(jù)團隊和技術(shù)團隊提出了巨大的挑戰(zhàn)。

企業(yè)為了不影響現(xiàn)有業(yè)務(wù)系統(tǒng)正常運行的情況下，通常是基于關(guān)系數(shù)據(jù)庫或大數(shù)據(jù)平臺構(gòu)建主題級或企業(yè)級的數(shù)據(jù)倉庫，將各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)抽取到數(shù)倉，并進行分層計算與存儲。當(dāng)提出業(yè)務(wù)應(yīng)用場景的數(shù)據(jù)分析時，業(yè)務(wù)分析團隊將梳理數(shù)據(jù)分析相關(guān)的指標(biāo)及分析維度，數(shù)據(jù)開發(fā)團隊再進行數(shù)據(jù)建模、編寫數(shù)據(jù)ETL腳本并配置定時任務(wù)進行數(shù)據(jù)計算，最終將滿足業(yè)務(wù)需求的指標(biāo)數(shù)據(jù)存儲到相應(yīng)的數(shù)據(jù)表。

在滿足業(yè)務(wù)當(dāng)前數(shù)據(jù)需求情況下，指標(biāo)數(shù)據(jù)存儲方案既要能達到數(shù)據(jù)查詢的性能要求，又要在不影響現(xiàn)有業(yè)務(wù)的情況下快速響應(yīng)不斷變化的業(yè)務(wù)需求。面對復(fù)雜的業(yè)務(wù)數(shù)據(jù)需求，數(shù)據(jù)開發(fā)團隊通常采用如下方法進行指標(biāo)數(shù)據(jù)的存儲。

第一種技術(shù)方案是按主題和分析場景，將指標(biāo)數(shù)據(jù)存儲在不同的數(shù)據(jù)表中。如下表1所示設(shè)計的經(jīng)銷商分析-匯總數(shù)據(jù)表(日粒度)，表中包含三個指標(biāo)：打造數(shù)、目標(biāo)數(shù)、合格數(shù)，而這三個指標(biāo)在該分析場景下包含月份、省區(qū)、區(qū)域、經(jīng)銷商、活動五個分析維度。該數(shù)據(jù)表將定時按天統(tǒng)計數(shù)據(jù)。

表1：經(jīng)銷商分析-匯總數(shù)據(jù)表(日粒度)示例

該技術(shù)方案的好處是易于理解，并可適配不同數(shù)據(jù)庫和大數(shù)據(jù)平臺，并能直接滿足上層業(yè)務(wù)的取數(shù)要求，這也是傳統(tǒng)數(shù)據(jù)倉庫常用的方案，并且存在與之配套的成熟的建模技術(shù)和建模規(guī)范。但在數(shù)字化時代業(yè)務(wù)的快速變化的情況下，該技術(shù)方案的問題也凸顯出來了。首先是在數(shù)字化時代，數(shù)據(jù)分析需求快速增多，導(dǎo)致數(shù)據(jù)倉庫中的數(shù)據(jù)表越來越多，管理困難。其次是業(yè)務(wù)快速變化帶來的數(shù)據(jù)表維護成本高，并且容易影響其他業(yè)務(wù)。而為了不影響現(xiàn)有業(yè)務(wù)而重新設(shè)計數(shù)據(jù)表，又容易導(dǎo)致數(shù)據(jù)冗余和數(shù)據(jù)不一致的問題。最后，越來越多的數(shù)據(jù)表增加了存儲資源與計算資源的需求，導(dǎo)致企業(yè)的運維成本快速增加。

第二種技術(shù)方案是基于高表設(shè)計一套通用的指標(biāo)結(jié)果數(shù)據(jù)存儲方案。在該技術(shù)方案中包含一張指標(biāo)結(jié)果數(shù)據(jù)表和一些配置信息表。在指標(biāo)結(jié)果數(shù)據(jù)表中除了包含日期、省區(qū)、區(qū)域等固定維度外，還額外預(yù)留DIM1、DIM2……DIMN等N個維度，不同的指標(biāo)可能對應(yīng)不同的維度及維度數(shù)。在該指標(biāo)結(jié)果表中，同一個預(yù)留的維度字段(比如DIM1)，可能對應(yīng)不同指標(biāo)的不同的維度。比如在打造數(shù)這個指標(biāo)的數(shù)據(jù)記錄中DIM1維度對應(yīng)的是活動維度，而在銷售額指標(biāo)的數(shù)據(jù)記錄中DIM1維度對應(yīng)的是門店。由于指標(biāo)值都是數(shù)字類型的，所以所有指標(biāo)的值都可以存儲在相同的列，如表中定義的指標(biāo)值列。

表2：指標(biāo)結(jié)果數(shù)據(jù)表示例

除了指標(biāo)結(jié)果數(shù)據(jù)表外，還需要設(shè)計相應(yīng)的維度信息表、指標(biāo)維度關(guān)系表等。維度信息表包含維度類型、維度名稱、維度英文名稱、維度描述、維度分類、維度狀態(tài)等信息。指標(biāo)維度關(guān)系表則用于將指標(biāo)和維度關(guān)聯(lián)起來，對指標(biāo)結(jié)果數(shù)據(jù)表中的維度列進行詳細(xì)定義。

表3：維度信息表示例

表4：指標(biāo)維度關(guān)系表示例