[發(fā)明專利]數(shù)據(jù)治理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011207921.7
• 申請(qǐng)日: 2020-11-03
• 公開（公告）號(hào): CN112307004A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 劉鄴超
• 申請(qǐng)（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

1.一種數(shù)據(jù)治理方法，其特征在于，所述數(shù)據(jù)治理方法包括：

對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)所有源數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括數(shù)據(jù)標(biāo)注；

根據(jù)各源數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集，其中，所述指標(biāo)集中每個(gè)指標(biāo)對(duì)應(yīng)一個(gè)或多個(gè)數(shù)據(jù)標(biāo)簽；

根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)，其中，所述計(jì)算任務(wù)包括離線計(jì)算任務(wù)與實(shí)時(shí)流計(jì)算任務(wù)；

執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對(duì)應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對(duì)所述各指標(biāo)對(duì)應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)；

根據(jù)預(yù)置數(shù)據(jù)存儲(chǔ)規(guī)則，對(duì)所述各指標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)治理方法，其特征在于，所述根據(jù)各源數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集包括：

獲取各源數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽；

分別將各數(shù)據(jù)標(biāo)簽與預(yù)置指標(biāo)配置規(guī)則進(jìn)行匹配；

若匹配成功，則基于匹配的指標(biāo)配置規(guī)則，將匹配到的數(shù)據(jù)標(biāo)簽與對(duì)應(yīng)指標(biāo)綁定；

根據(jù)指標(biāo)配置規(guī)則、數(shù)據(jù)標(biāo)簽與指標(biāo)的綁定關(guān)系，構(gòu)建各數(shù)據(jù)標(biāo)簽對(duì)應(yīng)的具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)治理方法，其特征在于，所述根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)包括：

獲取所述指標(biāo)集中各指標(biāo)；

根據(jù)所述指標(biāo)集中各指標(biāo)，對(duì)應(yīng)生成多條計(jì)算任務(wù)；

根據(jù)各指標(biāo)的時(shí)效要求，確定各計(jì)算任務(wù)的執(zhí)行方式，其中，所述執(zhí)行方式包括離線執(zhí)行與實(shí)時(shí)執(zhí)行。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)治理方法，其特征在于，所述執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對(duì)應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對(duì)所述各指標(biāo)對(duì)應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)包括：

獲取待執(zhí)行的計(jì)算任務(wù)；

根據(jù)預(yù)置任務(wù)生成規(guī)則，確定各計(jì)算任務(wù)之間的任務(wù)依賴關(guān)系；

根據(jù)各計(jì)算任務(wù)之間的任務(wù)依賴關(guān)系以及預(yù)置的任務(wù)執(zhí)行規(guī)則，確定各計(jì)算任務(wù)的執(zhí)行順序；

根據(jù)所述執(zhí)行順序，執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對(duì)應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對(duì)所述各指標(biāo)對(duì)應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的數(shù)據(jù)治理方法，其特征在于，在所述對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)所有源數(shù)據(jù)進(jìn)行預(yù)處理之前，還包括：

接收業(yè)務(wù)端發(fā)起的數(shù)據(jù)訂閱請(qǐng)求；

根據(jù)所述數(shù)據(jù)訂閱請(qǐng)求，確定數(shù)據(jù)訂閱信息，所述數(shù)據(jù)訂閱信息包括：訂閱的指標(biāo)數(shù)據(jù)信息以及訂閱數(shù)據(jù)的提供方式。

6.根據(jù)權(quán)利要求2所述的數(shù)據(jù)治理方法，其特征在于，在所述根據(jù)預(yù)置數(shù)據(jù)存儲(chǔ)規(guī)則，對(duì)所述各指標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)之后，還包括：

根據(jù)訂閱的指標(biāo)數(shù)據(jù)信息，確定對(duì)應(yīng)的指標(biāo)數(shù)據(jù)；

根據(jù)訂閱數(shù)據(jù)的提供方式，將訂閱的指標(biāo)數(shù)據(jù)實(shí)時(shí)發(fā)布給訂閱方。

7.一種數(shù)據(jù)治理裝置，其特征在于，所述數(shù)據(jù)治理裝置包括：

預(yù)處理模塊，用于對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)所有源數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括數(shù)據(jù)標(biāo)注；

配置模塊，用于根據(jù)各源數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，配置具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集，其中，所述指標(biāo)集中每個(gè)指標(biāo)對(duì)應(yīng)一個(gè)或多個(gè)數(shù)據(jù)標(biāo)簽；

生成模塊，用于根據(jù)所述指標(biāo)集中各指標(biāo)，生成多條計(jì)算任務(wù)，其中，所述計(jì)算任務(wù)包括離線計(jì)算任務(wù)與實(shí)時(shí)流計(jì)算任務(wù)；

執(zhí)行模塊，用于執(zhí)行所述各計(jì)算任務(wù)，以根據(jù)所述各指標(biāo)對(duì)應(yīng)的計(jì)算粒度和運(yùn)算規(guī)則，對(duì)所述各指標(biāo)對(duì)應(yīng)數(shù)據(jù)標(biāo)簽的源數(shù)據(jù)進(jìn)行計(jì)算，得到指標(biāo)數(shù)據(jù)；

存儲(chǔ)模塊，用于根據(jù)預(yù)置數(shù)據(jù)存儲(chǔ)規(guī)則，對(duì)所述各指標(biāo)數(shù)據(jù)進(jìn)行分類存儲(chǔ)。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)治理裝置，其特征在于，所述配置模塊具體用于：

獲取各源數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽；

分別將各數(shù)據(jù)標(biāo)簽與預(yù)置指標(biāo)配置規(guī)則進(jìn)行匹配；

若匹配成功，則基于匹配的指標(biāo)配置規(guī)則，將匹配到的數(shù)據(jù)標(biāo)簽與對(duì)應(yīng)指標(biāo)綁定；

根據(jù)指標(biāo)配置規(guī)則、數(shù)據(jù)標(biāo)簽與指標(biāo)的綁定關(guān)系，構(gòu)建各數(shù)據(jù)標(biāo)簽對(duì)應(yīng)的具有多種計(jì)算粒度和多種運(yùn)算規(guī)則的指標(biāo)集。