[發(fā)明專利]數(shù)據(jù)質(zhì)量校驗(yàn)方法及裝置

在審

• 申請?zhí)枺?/td>: 201810556408.5
• 申請日: 2018-05-31
• 公開（公告）號: CN108762933A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計(jì)）人: 王雙;王純斌;劉俊良;龐攀
• 申請（專利權(quán)）人: 成都四方偉業(yè)軟件股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/30
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 徐麗

1.一種數(shù)據(jù)質(zhì)量校驗(yàn)方法，應(yīng)用于集群服務(wù)器中的其中一個(gè)服務(wù)器，其特征在于，所述方法包括：

對待校驗(yàn)的數(shù)據(jù)源進(jìn)行解析，得到數(shù)據(jù)源元數(shù)據(jù)；

對預(yù)定義的校驗(yàn)流程配置進(jìn)行解析，得到所述校驗(yàn)流程配置的節(jié)點(diǎn)的節(jié)點(diǎn)配置；

依據(jù)所述節(jié)點(diǎn)配置將所述校驗(yàn)流程配置的節(jié)點(diǎn)動(dòng)態(tài)組裝并編譯成可執(zhí)行的分布式計(jì)算服務(wù)；

根據(jù)可執(zhí)行的所述分布式計(jì)算服務(wù)和所述數(shù)據(jù)源元數(shù)據(jù)對所述數(shù)據(jù)源進(jìn)行校驗(yàn)運(yùn)算，得到校驗(yàn)結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述節(jié)點(diǎn)配置包括每個(gè)校驗(yàn)節(jié)點(diǎn)的節(jié)點(diǎn)類型、節(jié)點(diǎn)元數(shù)據(jù)以及對應(yīng)的下一校驗(yàn)節(jié)點(diǎn)，所述節(jié)點(diǎn)元數(shù)據(jù)用于描述校驗(yàn)規(guī)則。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述節(jié)點(diǎn)類型為空值校驗(yàn)、精度校驗(yàn)或格式校驗(yàn)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

讀取待校驗(yàn)的所述數(shù)據(jù)源。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述節(jié)點(diǎn)配置將所述校驗(yàn)流程配置的節(jié)點(diǎn)動(dòng)態(tài)組裝并編譯成可執(zhí)行的分布式計(jì)算服務(wù)，包括：

根據(jù)所述節(jié)點(diǎn)配置將所述校驗(yàn)流程配置的節(jié)點(diǎn)依序組裝成分布式計(jì)算服務(wù)；

將組裝成的所述分布式計(jì)算服務(wù)編譯成所述可執(zhí)行的分布式計(jì)算服務(wù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)可執(zhí)行的所述分布式計(jì)算服務(wù)和所述數(shù)據(jù)源元數(shù)據(jù)對所述數(shù)據(jù)源進(jìn)行校驗(yàn)運(yùn)算，包括：

將可執(zhí)行的所述分布式計(jì)算服務(wù)提交給所述集群服務(wù)器的大數(shù)據(jù)計(jì)算平臺(tái)，以便所述大數(shù)據(jù)計(jì)算平臺(tái)自動(dòng)分配資源并根據(jù)所述數(shù)據(jù)源元數(shù)據(jù)讀取所述數(shù)據(jù)源以進(jìn)行校驗(yàn)運(yùn)算。

7.一種數(shù)據(jù)質(zhì)量校驗(yàn)裝置，應(yīng)用于集群服務(wù)器中的其中一個(gè)服務(wù)器，其特征在于，所述數(shù)據(jù)質(zhì)量校驗(yàn)裝置包括：

第一解析模塊，用于對待校驗(yàn)的數(shù)據(jù)源進(jìn)行解析，得到數(shù)據(jù)源元數(shù)據(jù)；

第二解析模塊，用于對預(yù)定義的校驗(yàn)流程配置進(jìn)行解析，得到所述校驗(yàn)流程配置的節(jié)點(diǎn)的節(jié)點(diǎn)配置；

編輯模塊，用于依據(jù)所述節(jié)點(diǎn)配置將所述校驗(yàn)流程配置的節(jié)點(diǎn)動(dòng)態(tài)組裝并編譯成可執(zhí)行的分布式計(jì)算服務(wù)；

運(yùn)算模塊，用于根據(jù)可執(zhí)行的所述分布式計(jì)算服務(wù)和所述數(shù)據(jù)源元數(shù)據(jù)對所述數(shù)據(jù)源進(jìn)行校驗(yàn)運(yùn)算，得到校驗(yàn)結(jié)果。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)質(zhì)量校驗(yàn)裝置，其特征在于，還包括：

讀取模塊，用于讀取待校驗(yàn)的所述數(shù)據(jù)源。

9.根據(jù)權(quán)利要求7所述的數(shù)據(jù)質(zhì)量校驗(yàn)裝置，其特征在于，所述編輯模塊包括：

組裝子模塊，用于根據(jù)所述節(jié)點(diǎn)配置將所述校驗(yàn)流程配置的節(jié)點(diǎn)依序組裝成分布式計(jì)算服務(wù)；

編譯子模塊，用于將組裝成的所述分布式計(jì)算服務(wù)編譯成所述可執(zhí)行的分布式計(jì)算服務(wù)。

10.根據(jù)權(quán)利要求7所述的數(shù)據(jù)質(zhì)量校驗(yàn)裝置，其特征在于，所述運(yùn)算模塊用于將可執(zhí)行的所述分布式計(jì)算服務(wù)提交給所述集群服務(wù)器的大數(shù)據(jù)計(jì)算平臺(tái)，以便所述大數(shù)據(jù)計(jì)算平臺(tái)自動(dòng)分配資源并根據(jù)所述數(shù)據(jù)源元數(shù)據(jù)讀取所述數(shù)據(jù)源以進(jìn)行校驗(yàn)運(yùn)算。