[發(fā)明專利]數(shù)據(jù)治理方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011207921.7
• 申請日: 2020-11-03
• 公開（公告）號: CN112307004A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 劉鄴超
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，公開了一種數(shù)據(jù)治理方法、裝置、設(shè)備及存儲介質(zhì)。所述數(shù)據(jù)治理方法包括：對數(shù)據(jù)倉庫內(nèi)所有源數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括數(shù)據(jù)標(biāo)注；根據(jù)各源數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集，所述指標(biāo)集中每個指標(biāo)對應(yīng)一個或多個數(shù)據(jù)標(biāo)簽；根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)，所述計(jì)算任務(wù)包括離線計(jì)算任務(wù)與實(shí)時流計(jì)算任務(wù)；執(zhí)行各計(jì)算任務(wù)，以根據(jù)各指標(biāo)對應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對各指標(biāo)對應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)；根據(jù)預(yù)置數(shù)據(jù)存儲規(guī)則，對各指標(biāo)數(shù)據(jù)進(jìn)行分類存儲。本發(fā)明采用標(biāo)簽對源數(shù)據(jù)進(jìn)行管理，使得繁多的指標(biāo)不再無序、單一，指標(biāo)管理更加方便高效。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種數(shù)據(jù)治理方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)治理是指對數(shù)據(jù)的全生命周期進(jìn)行管理，包含數(shù)據(jù)采集、清洗、轉(zhuǎn)換等傳統(tǒng)數(shù)據(jù)集成和存儲環(huán)節(jié)的工作，同時還包含數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)價(jià)值、數(shù)據(jù)服務(wù)與應(yīng)用等，整個數(shù)據(jù)生命期而開展開的業(yè)務(wù)、技術(shù)和管理活動都屬于數(shù)據(jù)治理范疇。

隨著大數(shù)據(jù)技術(shù)和應(yīng)用的發(fā)展，促使傳統(tǒng)行業(yè)需要將海量的業(yè)務(wù)數(shù)據(jù)向大數(shù)據(jù)平臺遷移，在這個過程中，數(shù)據(jù)治理的重要性日益明顯，通過有效的數(shù)據(jù)治理可以明顯提高數(shù)據(jù)處理的效率。目前，數(shù)據(jù)治理一般需要由專業(yè)的技術(shù)人員來進(jìn)行數(shù)據(jù)清洗、去重、映射等一系列的操作，效率不高且容易出錯，這不僅對技術(shù)人員的技術(shù)要求較高，而且對技術(shù)人員在業(yè)務(wù)層面的要求也非常高，不利于傳統(tǒng)行業(yè)的效率提升。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于解決現(xiàn)有數(shù)據(jù)治理效率低的技術(shù)問題。

本發(fā)明第一方面提供了一種數(shù)據(jù)治理方法，所述數(shù)據(jù)治理方法包括：

對數(shù)據(jù)倉庫內(nèi)所有源數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括數(shù)據(jù)標(biāo)注；

根據(jù)各源數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集，其中，所述指標(biāo)集中每個指標(biāo)對應(yīng)一個或多個數(shù)據(jù)標(biāo)簽；

根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)，其中，所述計(jì)算任務(wù)包括離線計(jì)算任務(wù)與實(shí)時流計(jì)算任務(wù)；

執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對所述各指標(biāo)對應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)；

根據(jù)預(yù)置數(shù)據(jù)存儲規(guī)則，對所述各指標(biāo)數(shù)據(jù)進(jìn)行分類存儲。

可選的，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，所述根據(jù)各源數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集包括：

獲取各源數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)簽；

分別將各數(shù)據(jù)標(biāo)簽與預(yù)置指標(biāo)配置規(guī)則進(jìn)行匹配；

若匹配成功，則基于匹配的指標(biāo)配置規(guī)則，將匹配到的數(shù)據(jù)標(biāo)簽與對應(yīng)指標(biāo)綁定；

根據(jù)指標(biāo)配置規(guī)則、數(shù)據(jù)標(biāo)簽與指標(biāo)的綁定關(guān)系，構(gòu)建各數(shù)據(jù)標(biāo)簽對應(yīng)的具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集。

可選的，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，所述根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)包括：

獲取所述指標(biāo)集中各指標(biāo)；

根據(jù)所述指標(biāo)集中各指標(biāo)，對應(yīng)生成多條計(jì)算任務(wù)；

根據(jù)各指標(biāo)的時效要求，確定各計(jì)算任務(wù)的執(zhí)行方式，其中，所述執(zhí)行方式包括離線執(zhí)行與實(shí)時執(zhí)行。

可選的，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，所述執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對所述各指標(biāo)對應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)包括：

獲取待執(zhí)行的計(jì)算任務(wù)；