[發(fā)明專(zhuān)利]一種數(shù)據(jù)質(zhì)量稽核動(dòng)態(tài)擴(kuò)展的方法、裝置和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202211251331.3
• 申請(qǐng)日: 2022-10-13
• 公開(kāi)（公告）號(hào): CN115905189A
• 公開(kāi)（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 周朝衛(wèi);劉鈞;張梅;周世軍;覃華云
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中盈優(yōu)創(chuàng)資訊科技有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06F16/22;G06F16/25
• 代理公司: 上海嘉藍(lán)專(zhuān)利代理事務(wù)所(普通合伙) 31407
• 代理人: 金波

本發(fā)明提供了一種數(shù)據(jù)質(zhì)量稽核動(dòng)態(tài)擴(kuò)展的方法、裝置和設(shè)備，所述方法包括：使用Spark的數(shù)據(jù)源接口，將各類(lèi)數(shù)據(jù)源加載為Dataset，并根據(jù)配置的稽核對(duì)象名，注冊(cè)為Spark的表；對(duì)加載的數(shù)據(jù)源，根據(jù)數(shù)據(jù)質(zhì)量稽核控件進(jìn)行處理，生成數(shù)據(jù)質(zhì)量稽核基礎(chǔ)指標(biāo)；對(duì)生成的基礎(chǔ)指標(biāo)進(jìn)行算法邏輯處理，生成新的指標(biāo)：計(jì)算指標(biāo)；配置Prometheus模板，模板中配置了基礎(chǔ)指標(biāo)和計(jì)算指標(biāo)的編碼，在數(shù)據(jù)質(zhì)量稽核任務(wù)運(yùn)行時(shí)，替換指標(biāo)編碼為具體指標(biāo)的值，進(jìn)行上報(bào)。以此方式，基于配置，零代碼完成數(shù)據(jù)質(zhì)量稽核，支持任意擴(kuò)展，用戶(hù)只需要編寫(xiě)配置文件，即可完成數(shù)據(jù)質(zhì)量的稽核，無(wú)需修改代碼，數(shù)據(jù)質(zhì)量也可對(duì)接Prometheus，便于對(duì)數(shù)據(jù)質(zhì)量的稽核情況進(jìn)行監(jiān)控。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施例一般涉及數(shù)據(jù)稽核的技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)質(zhì)量稽核動(dòng)態(tài)擴(kuò)展方法、裝置和設(shè)備。

背景技術(shù)

隨著技術(shù)的發(fā)展，數(shù)字化成為趨勢(shì)。為提高基層治理的水平，城市開(kāi)始向數(shù)字化轉(zhuǎn)型，數(shù)字政府也開(kāi)始走進(jìn)人們的生活。其中，作為數(shù)字政府新型基礎(chǔ)設(shè)施建設(shè)的城市大腦更是智慧化城市的重要內(nèi)容。城市大腦的正常運(yùn)作離不開(kāi)數(shù)據(jù)中臺(tái)。數(shù)據(jù)中臺(tái)是城市大腦的數(shù)據(jù)基座，其為城市大腦行業(yè)應(yīng)用提供標(biāo)準(zhǔn)、干凈、全量數(shù)據(jù)。數(shù)據(jù)中臺(tái)中的數(shù)據(jù)種類(lèi)繁多、來(lái)源廣泛、體量巨大，這些數(shù)據(jù)主要?dú)w集于政府各個(gè)單位的政務(wù)數(shù)據(jù)。然而歸集數(shù)據(jù)愈多，數(shù)據(jù)質(zhì)量問(wèn)題愈突出。為了提高收集的數(shù)據(jù)的質(zhì)量，在從多個(gè)數(shù)據(jù)源收集數(shù)據(jù)的過(guò)程中，需要對(duì)收集的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量稽核。

現(xiàn)在的數(shù)據(jù)質(zhì)量稽核的方法存在以下問(wèn)題：1.新增數(shù)據(jù)質(zhì)量稽核需求，需要開(kāi)發(fā)代碼。整個(gè)流程設(shè)計(jì)需求、開(kāi)發(fā)、測(cè)試、部署多個(gè)環(huán)節(jié)，耗時(shí)長(zhǎng)，工作量大，成本高；2.每個(gè)數(shù)據(jù)質(zhì)量需求需要根據(jù)實(shí)際的業(yè)務(wù)需求單獨(dú)開(kāi)發(fā)，功能重用度低；3.數(shù)據(jù)稽核的數(shù)據(jù)源讀取擴(kuò)展性差，沒(méi)有實(shí)現(xiàn)通用的數(shù)據(jù)讀取的功能，數(shù)據(jù)讀取的需求變更，可能都需要修改代碼；4.新增數(shù)據(jù)質(zhì)量稽核的指標(biāo)，一般都修改代碼

如專(zhuān)利：“一種數(shù)據(jù)質(zhì)量稽核引擎及其稽核方法(申請(qǐng)?zhí)枺篊N202110735553.1)”：該方法包括獲取待稽查數(shù)據(jù)集的元數(shù)據(jù)和數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)規(guī)范的質(zhì)量規(guī)則項(xiàng)，從質(zhì)量規(guī)則項(xiàng)中提取對(duì)應(yīng)的特征詞，元數(shù)據(jù)包括數(shù)據(jù)集名稱(chēng)、數(shù)據(jù)屬性名稱(chēng)和數(shù)據(jù)屬性注釋?zhuān)粚⑻卣髟~與元數(shù)據(jù)中的數(shù)據(jù)屬性名稱(chēng)或者數(shù)據(jù)屬性注釋進(jìn)行匹配，建立質(zhì)量規(guī)則項(xiàng)和元數(shù)據(jù)中每個(gè)屬性的關(guān)聯(lián)關(guān)系；基于待稽查數(shù)據(jù)集中的屬性和關(guān)聯(lián)關(guān)系得到稽核任務(wù)；基于稽核任務(wù)與質(zhì)量規(guī)則項(xiàng)對(duì)應(yīng)的稽核處理方法，獲得待稽查數(shù)據(jù)集的稽核處理方法，以生成待稽查數(shù)據(jù)集的稽核腳本；運(yùn)行稽核腳本對(duì)待稽查數(shù)據(jù)集進(jìn)行稽查以獲得稽核結(jié)果。該發(fā)明能夠解決現(xiàn)有技術(shù)中稽核效率較低，配置任務(wù)工作繁重的問(wèn)題，但是無(wú)法解決新增需求需要修改代碼、功能重用度低的問(wèn)題。

發(fā)明內(nèi)容

為解決以上問(wèn)題，本發(fā)明基于配置，零代碼完成數(shù)據(jù)質(zhì)量稽核，并且，數(shù)據(jù)稽核對(duì)象和基礎(chǔ)指標(biāo)控件，根據(jù)定義的流程規(guī)則，支持任意擴(kuò)展，支持接入任意的數(shù)據(jù)源以及任意的數(shù)據(jù)質(zhì)量稽核規(guī)則，用戶(hù)只需要編寫(xiě)配置文件，即可完成數(shù)據(jù)質(zhì)量的稽核，無(wú)需修改代碼，數(shù)據(jù)質(zhì)量也可對(duì)接Prometheus，便于對(duì)數(shù)據(jù)質(zhì)量的稽核情況進(jìn)行監(jiān)控。

根據(jù)本發(fā)明的實(shí)施例，提供了一種數(shù)據(jù)質(zhì)量稽核動(dòng)態(tài)擴(kuò)展的方法、裝置和設(shè)備。

在本發(fā)明的第一方面，提供了一種數(shù)據(jù)質(zhì)量稽核動(dòng)態(tài)擴(kuò)展的方法。該方法包括：

S01：使用Spark的數(shù)據(jù)源接口，將各類(lèi)數(shù)據(jù)源加載為Dataset，并根據(jù)配置的稽核對(duì)象名，注冊(cè)為Spark的表；

S02：對(duì)加載的數(shù)據(jù)源，根據(jù)數(shù)據(jù)質(zhì)量稽核控件進(jìn)行處理，生成數(shù)據(jù)質(zhì)量稽核基礎(chǔ)指標(biāo)；

S03：對(duì)生成的基礎(chǔ)指標(biāo)進(jìn)行算法邏輯處理，生成新的指標(biāo)：計(jì)算指標(biāo)；

S04：配置Prometheus模板，模板中配置了基礎(chǔ)指標(biāo)和計(jì)算指標(biāo)的編碼，在數(shù)據(jù)質(zhì)量稽核任務(wù)運(yùn)行時(shí)，替換指標(biāo)編碼為具體指標(biāo)的值，進(jìn)行上報(bào)。

進(jìn)一步地，S01中所述的數(shù)據(jù)源具有可拓展性，具體拓展步驟如下：