[發(fā)明專利]維度數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011134883.7
• 申請(qǐng)日: 2020-10-21
• 公開(kāi)（公告）號(hào): CN114385644A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 張聰;李澤源;周劍;邱裕鶴;秦正
• 申請(qǐng)（專利權(quán)）人: 中移（成都）信息通信科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/2458;G06F16/25;G06F16/27;G06F16/28
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

本申請(qǐng)實(shí)施例提供了一種維度數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，第一方面，該維度數(shù)據(jù)處理方法包括：獲取應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)；將應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)加載到操作型數(shù)據(jù)存儲(chǔ)ODS層中；將維度版本字段添加到ODS層中，得到目標(biāo)維度數(shù)據(jù)；將目標(biāo)維度數(shù)據(jù)導(dǎo)入Hive層中；本申請(qǐng)實(shí)施例解決了現(xiàn)有技術(shù)中大數(shù)據(jù)倉(cāng)庫(kù)處理緩慢變化維數(shù)據(jù)的性能較差的問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)屬于大數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理領(lǐng)域，尤其涉及一種維度數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)，是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下，為了進(jìn)一步挖掘數(shù)據(jù)資源、為了決策需要而產(chǎn)生的，它并不是所謂的“大型數(shù)據(jù)庫(kù)”。數(shù)據(jù)倉(cāng)庫(kù)的方案建設(shè)的目的，是為前端查詢和分析作為基礎(chǔ)，由于有較大的冗余，所以需要的存儲(chǔ)也較大。為了更好地為前端應(yīng)用服務(wù)，數(shù)據(jù)倉(cāng)庫(kù)往往有如下幾點(diǎn)特點(diǎn)：

第一、取數(shù)簡(jiǎn)單、性能好。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集中的、匯總的，不像數(shù)據(jù)庫(kù)零零散散分散在很多個(gè)表，因此查詢更加簡(jiǎn)單，不需要做很多的表關(guān)聯(lián)，因此有更好的性能。

第二、數(shù)據(jù)質(zhì)量高。數(shù)據(jù)倉(cāng)庫(kù)所提供的各種信息，是通過(guò)了數(shù)據(jù)抽取，清洗，轉(zhuǎn)換，裝載，查詢，展現(xiàn)等過(guò)程得出的，相對(duì)于源數(shù)據(jù)庫(kù)存在數(shù)據(jù)不一致，臟數(shù)據(jù)等問(wèn)題，有了更高的質(zhì)量保障。

第三、擴(kuò)展性好。之所以有的大型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)設(shè)計(jì)復(fù)雜，是因?yàn)榭紤]到了未來(lái)3-5年的擴(kuò)展性，這樣的話，未來(lái)不用花費(fèi)太大成本去重建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，就能很穩(wěn)定運(yùn)行。主要體現(xiàn)在數(shù)據(jù)建模、數(shù)據(jù)分層的合理性。

從數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)可以看出，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)可以將企業(yè)多年積累的數(shù)據(jù)喚醒，不僅為企業(yè)管理好這些海量數(shù)據(jù)，而且挖掘數(shù)據(jù)潛在的價(jià)值。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)倉(cāng)庫(kù)的重要性更勝以往，數(shù)據(jù)的“大”、“臟”2個(gè)特點(diǎn)更加需要在底層數(shù)據(jù)模型做好建設(shè)工作。目前，大數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)主要是基于海杜普Hadoop體系下的Hive所搭建的，建模技術(shù)仍然使用基于事實(shí)表、維度表的維度建模技術(shù)。

在大數(shù)據(jù)倉(cāng)庫(kù)中，存在某些維度表的屬性隨著時(shí)間的推移發(fā)生變化，需要對(duì)其歷史狀態(tài)及最新?tīng)顟B(tài)進(jìn)行統(tǒng)計(jì)分析的一類數(shù)據(jù)-緩慢變化維數(shù)據(jù)，現(xiàn)有技術(shù)中大數(shù)據(jù)倉(cāng)庫(kù)處理緩慢變化維數(shù)據(jù)的速度較慢。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種在維度數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠解決現(xiàn)有技術(shù)中大數(shù)據(jù)倉(cāng)庫(kù)處理緩慢變化維數(shù)據(jù)的性能較差的問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供一種維度數(shù)據(jù)處理方法，該方法包括：

獲取應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)；

將應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)加載到操作型數(shù)據(jù)存儲(chǔ)ODS層中；

將維度版本字段添加到ODS層中，得到目標(biāo)維度數(shù)據(jù)；

將目標(biāo)維度數(shù)據(jù)導(dǎo)入Hive層中。

進(jìn)一步地，在一種實(shí)施例中，應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)包括：緩慢變化維度值和緩慢變化維相關(guān)業(yè)務(wù)數(shù)據(jù)。

進(jìn)一步地，在一種實(shí)施例中，將應(yīng)用系統(tǒng)源數(shù)據(jù)庫(kù)數(shù)據(jù)加載到操作型數(shù)據(jù)存儲(chǔ)ODS層中，包括：

將緩慢變化維度值加載到ODS層的緩慢變化維源表中；

將緩慢變化維相關(guān)業(yè)務(wù)數(shù)據(jù)加載到ODS層的緩慢變化維的相關(guān)業(yè)務(wù)表中。

進(jìn)一步地，在一種實(shí)施例中，將維度版本字段添加到ODS層中，得到目標(biāo)維度數(shù)據(jù)，包括：

將維度版本字段分別添加到ODS層的緩慢變化維源表和ODS層的緩慢變化維的相關(guān)業(yè)務(wù)表中，得到目標(biāo)維度數(shù)據(jù)。

進(jìn)一步地，在一種實(shí)施例中，該方法還包括：

根據(jù)緩慢變化維度值的變化更新：緩慢變化維源表的維度版本字段和相關(guān)業(yè)務(wù)表的維度版本字段。