[發(fā)明專(zhuān)利]數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法和構(gòu)建裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610038046.1
• 申請(qǐng)日: 2016-01-20
• 公開(kāi)（公告）號(hào): CN105718565B
• 公開(kāi)（公告）日: 2019-07-02
• 發(fā)明（設(shè)計(jì)）人: 董月紅;孫冬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/25
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;姜?jiǎng)?/td>

本發(fā)明提供一種數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法和構(gòu)建裝置，能夠利用業(yè)務(wù)數(shù)據(jù)指標(biāo)的活躍度分析，來(lái)達(dá)到快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)模型的目的。本發(fā)明的數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法包括：確定給定時(shí)間段內(nèi)的業(yè)務(wù)數(shù)據(jù)指標(biāo)中的活躍指標(biāo)，通過(guò)在所述給定時(shí)間段內(nèi)計(jì)數(shù)每個(gè)業(yè)務(wù)數(shù)據(jù)指標(biāo)的調(diào)用次數(shù)，當(dāng)該業(yè)務(wù)數(shù)據(jù)指標(biāo)的調(diào)用次數(shù)大于預(yù)定的活躍度限值時(shí)，則確定該業(yè)務(wù)數(shù)據(jù)指標(biāo)為活躍指標(biāo)；對(duì)所述活躍指標(biāo)進(jìn)行業(yè)務(wù)場(chǎng)景需求分析，以生成邏輯模型；根據(jù)所述邏輯模型，加工所述活躍指標(biāo)對(duì)應(yīng)的數(shù)據(jù)并保存到數(shù)據(jù)倉(cāng)庫(kù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)及其軟件技術(shù)領(lǐng)域，特別地涉及一種數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法和構(gòu)建裝置。

背景技術(shù)

隨著電子商務(wù)企業(yè)的快速發(fā)展，例如京東、淘寶、亞馬遜等的快速崛起，電商企業(yè)日常運(yùn)營(yíng)中生成、累積的大量用戶(hù)、商品、以及生產(chǎn)相關(guān)的數(shù)據(jù)已呈現(xiàn)爆發(fā)式增長(zhǎng)，并且數(shù)據(jù)結(jié)構(gòu)也開(kāi)始多元化，相應(yīng)數(shù)據(jù)含有的信息量也越來(lái)越多。因此，電商企業(yè)對(duì)數(shù)據(jù)化運(yùn)營(yíng)也越來(lái)越關(guān)注。

數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)的集合，主要用于對(duì)數(shù)據(jù)進(jìn)行分區(qū)處理工作，發(fā)揮著巨大的作用。然而，大數(shù)據(jù)時(shí)代的降臨，數(shù)據(jù)倉(cāng)庫(kù)慢慢轉(zhuǎn)成分布式架構(gòu)，以滿(mǎn)足爆發(fā)式增長(zhǎng)的計(jì)算及存儲(chǔ)的要求。基于傳統(tǒng)行業(yè)(例如，銀行、保險(xiǎn)、零售等)的數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法已經(jīng)非常的成熟，亦即企業(yè)對(duì)終端客戶(hù)的電子商務(wù)B2C(Business-to-Customer)業(yè)務(wù)的數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法已很成熟。

例如：在傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)之上，結(jié)合具體的業(yè)務(wù)情況，零售企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過(guò)程一般是首先進(jìn)行業(yè)務(wù)場(chǎng)景的需求分析，以生成業(yè)務(wù)模型，然后對(duì)業(yè)務(wù)模型抽象處理得到領(lǐng)域模型，再為領(lǐng)域模型賦予實(shí)體及實(shí)體間的邏輯關(guān)系得到邏輯模型，最后是將邏輯模型落地實(shí)施，即：生成物理模型。

在生成物理模型的過(guò)程中，最重要的是利用數(shù)據(jù)庫(kù)集群和傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)建模方法論，進(jìn)行數(shù)據(jù)的加工處理，以實(shí)現(xiàn)數(shù)據(jù)分層。該過(guò)程主要包括以下步驟：

1、構(gòu)建stage層，通過(guò)ETL過(guò)程(ETL，是Extract-Transform-Load的縮寫(xiě)，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取extract、轉(zhuǎn)換transform、加載load至目的端的過(guò)程)，抽取源生產(chǎn)系統(tǒng)的數(shù)據(jù)；

2、構(gòu)建ods層，ODS(Operational Data Store，操作性數(shù)據(jù)存儲(chǔ)區(qū))層是數(shù)據(jù)整合層，通過(guò)對(duì)stage層的數(shù)據(jù)進(jìn)行清洗和加工，以發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤，并將數(shù)據(jù)轉(zhuǎn)換到ods預(yù)先定義的表中；

3、構(gòu)建dwd層，dwd層是數(shù)據(jù)倉(cāng)庫(kù)的細(xì)節(jié)數(shù)據(jù)層，基于邏輯模型，搭建實(shí)體表及實(shí)體表的關(guān)系；

4、構(gòu)建dwa層，dwa層是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)匯總層，基于主題模型和邏輯關(guān)系，將dwd層數(shù)據(jù)，加工到本層。

生成物理模型后，整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的模型已經(jīng)全部完成，我們可以按照自己的設(shè)計(jì)來(lái)針對(duì)當(dāng)前的業(yè)務(wù)場(chǎng)景創(chuàng)建滿(mǎn)足自己需要的數(shù)據(jù)模型來(lái)。

然而，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)建模方法仍存在一些缺陷，主要表現(xiàn)在：

1、傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)建模，按主題、邏輯等方面進(jìn)行建模，雖然可以涵蓋主要的業(yè)務(wù)指標(biāo)，但隨著電子商務(wù)的業(yè)務(wù)的高速發(fā)展，現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法，已無(wú)法快速響應(yīng)業(yè)務(wù)的快速變化；

2、傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)建模，層級(jí)之間依賴(lài)關(guān)系復(fù)雜，模型變更繁瑣。

由此，本發(fā)明基于電子商務(wù)B2C業(yè)務(wù)的傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)模型構(gòu)建方法的基礎(chǔ)上，通過(guò)對(duì)業(yè)務(wù)指標(biāo)的進(jìn)行熱度分析，快速構(gòu)建新的數(shù)據(jù)倉(cāng)庫(kù)模型。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法和構(gòu)建裝置，能夠利用業(yè)務(wù)數(shù)據(jù)指標(biāo)的活躍度分析，來(lái)達(dá)到快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)模型的目的。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)倉(cāng)庫(kù)模型的構(gòu)建方法。