[發(fā)明專(zhuān)利]基于標(biāo)準(zhǔn)SQL下的業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010119671.5
• 申請(qǐng)日: 2020-02-26
• 公開(kāi)（公告）號(hào): CN111400365B
• 公開(kāi)（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 許一南;柳遵梁;劉濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州美創(chuàng)科技股份有限公司
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06F16/215;G06F16/242;G06F16/2455
• 代理公司: 杭州杭誠(chéng)專(zhuān)利事務(wù)所有限公司 33109
• 代理人: 尉偉敏

本發(fā)明公開(kāi)了一種基于標(biāo)準(zhǔn)SQL下的業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)方法，包括如下步驟：進(jìn)行業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)規(guī)則的基礎(chǔ)配置，生成可執(zhí)行SQL語(yǔ)句；執(zhí)行生成的SQL語(yǔ)句，獲取數(shù)據(jù)的中間結(jié)果；過(guò)濾異常數(shù)據(jù)，進(jìn)行數(shù)據(jù)合并和統(tǒng)計(jì)。本發(fā)明具有如下有益效果：配置管理的優(yōu)化；本發(fā)明能夠有效的合并幾十乃至幾百的數(shù)據(jù)校驗(yàn)規(guī)則，實(shí)現(xiàn)一條SQL語(yǔ)句檢測(cè)一個(gè)數(shù)據(jù)視圖上的多個(gè)數(shù)據(jù)質(zhì)量規(guī)則，提高了數(shù)據(jù)質(zhì)量檢測(cè)的速度；(3)本發(fā)明通過(guò)對(duì)數(shù)據(jù)視圖執(zhí)行標(biāo)準(zhǔn)SQL的方式，在數(shù)據(jù)質(zhì)量校驗(yàn)字段上添加相關(guān)檢測(cè)邏輯規(guī)則，執(zhí)行SQL后在SQL語(yǔ)句返回結(jié)果的基礎(chǔ)上，過(guò)濾及分解相關(guān)檢測(cè)邏輯判定有異常的數(shù)據(jù)，實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量校驗(yàn)和異常數(shù)據(jù)的分離。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)數(shù)據(jù)質(zhì)量控制技術(shù)領(lǐng)域，尤其是涉及一種能夠提高數(shù)據(jù)質(zhì)量檢測(cè)效率，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量校驗(yàn)和異常數(shù)據(jù)分離的基于標(biāo)準(zhǔn)SQL下的業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)方法。

背景技術(shù)

隨著企事業(yè)單位數(shù)字化程度的提高和企事業(yè)單位信息系統(tǒng)的廣泛應(yīng)用，信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)的質(zhì)量問(wèn)題也日益凸現(xiàn)。數(shù)據(jù)質(zhì)量問(wèn)題輕則影響業(yè)務(wù)事務(wù)的一般處理和統(tǒng)計(jì)分析的準(zhǔn)確性，重則影響企事業(yè)單位決策、客戶(hù)關(guān)系、流程質(zhì)量，甚至影響行業(yè)發(fā)展。近年來(lái)，數(shù)據(jù)二次應(yīng)用的研究在企事業(yè)單位廣泛展開(kāi)。通過(guò)數(shù)據(jù)挖掘、數(shù)據(jù)倉(cāng)庫(kù)、在線分析等技術(shù)，對(duì)業(yè)務(wù)系統(tǒng)內(nèi)存儲(chǔ)的數(shù)據(jù)進(jìn)行提取和分析，為企事業(yè)單位管理決策和業(yè)務(wù)執(zhí)行提供支持。在數(shù)據(jù)二次應(yīng)用中，數(shù)據(jù)質(zhì)量問(wèn)題的影響同樣十分嚴(yán)重，因其不但無(wú)法再更正，更會(huì)造成分析錯(cuò)誤，影響企事業(yè)單位管理和業(yè)務(wù)執(zhí)行決策。

目前現(xiàn)有的一些針對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)表單質(zhì)量檢測(cè)的解決方案，其主要實(shí)現(xiàn)方式也是基于SQL的處理方式，不過(guò)不同的地方在于，其主要的規(guī)則校驗(yàn)邏輯實(shí)現(xiàn)在SQL的WHERE子句層面，這就意味著每個(gè)SQL的配置只能滿(mǎn)足一個(gè)業(yè)務(wù)規(guī)則的校驗(yàn)，伴隨著整個(gè)業(yè)務(wù)層面的規(guī)則增加和修改，需要為每個(gè)規(guī)則都配置一個(gè)SQL語(yǔ)句并進(jìn)行維護(hù)，同時(shí)為了獲取數(shù)據(jù)質(zhì)量的總體情況，需要對(duì)每個(gè)SQL都執(zhí)行一次，大大增加了整個(gè)數(shù)據(jù)質(zhì)量規(guī)則檢測(cè)的運(yùn)行時(shí)間。

發(fā)明內(nèi)容

本發(fā)明為了克服現(xiàn)有技術(shù)中存在的每個(gè)SQL的配置只能滿(mǎn)足一個(gè)業(yè)務(wù)規(guī)則的校驗(yàn)，整個(gè)數(shù)據(jù)質(zhì)量規(guī)則檢測(cè)的運(yùn)行時(shí)間長(zhǎng)的不足，提供了一種能夠提高數(shù)據(jù)質(zhì)量檢測(cè)效率，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量校驗(yàn)和異常數(shù)據(jù)分離的基于標(biāo)準(zhǔn)SQL下的業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：

一種基于標(biāo)準(zhǔn)SQL下的業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量檢測(cè)方法，包括如下步驟：

(1-1)進(jìn)行業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)規(guī)則的基礎(chǔ)配置，生成可執(zhí)行SQL語(yǔ)句；

(1-2)執(zhí)行生成的SQL語(yǔ)句，獲取數(shù)據(jù)的中間結(jié)果；

(1-3)過(guò)濾異常數(shù)據(jù)，進(jìn)行數(shù)據(jù)合并和統(tǒng)計(jì)。

本發(fā)明首先對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行模塊化，把相互關(guān)聯(lián)的業(yè)務(wù)校驗(yàn)需求進(jìn)行合并，并在這個(gè)模塊化的基礎(chǔ)上，為每個(gè)模塊建立對(duì)象的數(shù)據(jù)視圖；接著進(jìn)行數(shù)據(jù)業(yè)務(wù)規(guī)則代碼化，把用業(yè)務(wù)描述的規(guī)則變更為可通過(guò)SQL執(zhí)行的等價(jià)邏輯；最后以SQL執(zhí)行的返回結(jié)果作為基礎(chǔ)，對(duì)異常數(shù)據(jù)進(jìn)行過(guò)濾提取，并進(jìn)行異常數(shù)據(jù)的合并和輸出顯示。

作為優(yōu)選，步驟(1-1)的具體步驟如下：

(2-1)將多個(gè)數(shù)據(jù)表格關(guān)聯(lián)，生成數(shù)據(jù)視圖；

(2-2)定義業(yè)務(wù)模塊名稱(chēng)和數(shù)據(jù)視圖名稱(chēng)；

(2-3)制定若干個(gè)數(shù)據(jù)質(zhì)量校驗(yàn)業(yè)務(wù)規(guī)則，完成“業(yè)務(wù)模塊”，“數(shù)據(jù)視圖”和“業(yè)務(wù)規(guī)則”三者之間的映射；

(2-4)根據(jù)數(shù)據(jù)視圖以及制定的各個(gè)數(shù)據(jù)質(zhì)量校驗(yàn)業(yè)務(wù)規(guī)則，生成可執(zhí)行SQL語(yǔ)句，完成“業(yè)務(wù)規(guī)則”和“可執(zhí)行SQL語(yǔ)句”之間的映射。

數(shù)據(jù)模塊抽象形成數(shù)據(jù)視圖，更好的劃分和歸類(lèi)質(zhì)量檢測(cè)的內(nèi)容，同時(shí)能夠有效的合并幾十乃至幾百的數(shù)據(jù)校驗(yàn)規(guī)則，實(shí)現(xiàn)一條SQL語(yǔ)句檢測(cè)一個(gè)數(shù)據(jù)視圖上的多個(gè)數(shù)據(jù)質(zhì)量規(guī)則，提高了數(shù)據(jù)質(zhì)量檢測(cè)的速度