[發(fā)明專(zhuān)利]政務(wù)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢查方法、系統(tǒng)、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310286916.7
• 申請(qǐng)日: 2023-03-23
• 公開(kāi)（公告）號(hào): CN115994194B
• 公開(kāi)（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 任偉;陳垚;袁大勇;劉奎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河北東軟軟件有限公司
• 主分類(lèi)號(hào): G06F16/28
• 分類(lèi)號(hào): G06F16/28;G06F16/215;G06F18/22
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種政務(wù)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，包括以下步驟：

建立政務(wù)數(shù)據(jù)質(zhì)量檢查規(guī)則庫(kù)；所述的規(guī)則庫(kù)由上至下依次包括類(lèi)別層、指標(biāo)層和規(guī)則層；

獲取用戶(hù)反饋的待檢查政務(wù)數(shù)據(jù)的類(lèi)別和指標(biāo)；

獲取相應(yīng)類(lèi)別待檢查政務(wù)數(shù)據(jù)集的元數(shù)據(jù)，并根據(jù)所述指標(biāo)以及所述元數(shù)據(jù)中的關(guān)鍵數(shù)據(jù)獲取所配置的相應(yīng)的數(shù)據(jù)質(zhì)量檢查規(guī)則；

建立自動(dòng)調(diào)度作業(yè)，自動(dòng)獲取待檢查數(shù)據(jù)集，結(jié)合所述數(shù)據(jù)質(zhì)量檢查規(guī)則進(jìn)行模式匹配，生成數(shù)據(jù)質(zhì)量檢查結(jié)果；

其中，所述的結(jié)合所述數(shù)據(jù)質(zhì)量檢查規(guī)則進(jìn)行模式匹配，生成數(shù)據(jù)質(zhì)量檢查結(jié)果，包括：

規(guī)則加載：依據(jù)檢查計(jì)劃中的數(shù)據(jù)集的元數(shù)據(jù)中數(shù)據(jù)字段與數(shù)據(jù)質(zhì)量檢查規(guī)則之間的關(guān)系，將數(shù)據(jù)集所對(duì)應(yīng)的檢查規(guī)則加載至模式匹配器，模式匹配器將檢查規(guī)則以同樣的模式進(jìn)行解析，形成檢查規(guī)則的二維點(diǎn)陣，再根據(jù)先后順序和業(yè)務(wù)要求，通過(guò)真判定動(dòng)作單元和偽判定動(dòng)作單元將所述二維點(diǎn)陣進(jìn)行連接形成一個(gè)二維網(wǎng)絡(luò)結(jié)構(gòu)；

數(shù)據(jù)檢查：將待檢數(shù)據(jù)集加載至工作內(nèi)存，然后進(jìn)入檢查規(guī)則二維網(wǎng)絡(luò)，數(shù)據(jù)集中的每一條數(shù)據(jù)依據(jù)數(shù)據(jù)字段與檢查規(guī)則的關(guān)系依次進(jìn)入網(wǎng)絡(luò)進(jìn)行流轉(zhuǎn)，流經(jīng)每一個(gè)檢查節(jié)點(diǎn)時(shí)，依據(jù)判定邏輯單元進(jìn)行真?zhèn)闻袛啵?dāng)結(jié)果為真時(shí)，執(zhí)行真判定動(dòng)作單元中的預(yù)設(shè)邏輯，并沿網(wǎng)絡(luò)流轉(zhuǎn)至下一個(gè)檢查節(jié)點(diǎn)，當(dāng)結(jié)果為偽時(shí)，執(zhí)行偽判定動(dòng)作單元中的預(yù)設(shè)邏輯，并沿網(wǎng)絡(luò)流轉(zhuǎn)至下一個(gè)檢查節(jié)點(diǎn)，直至數(shù)據(jù)集中的全部數(shù)據(jù)流轉(zhuǎn)至輸出節(jié)點(diǎn)；

結(jié)果生成；將每一個(gè)檢查節(jié)點(diǎn)的真判定動(dòng)作單元和偽判定動(dòng)作單元的執(zhí)行內(nèi)容進(jìn)行匯總，形成質(zhì)量檢查結(jié)果；

其中，采用igraph技術(shù)實(shí)現(xiàn)檢查規(guī)則二維點(diǎn)陣網(wǎng)絡(luò)的生成和/或待檢數(shù)據(jù)流向的可視化；具體通過(guò)以下方法生成檢查規(guī)則二維點(diǎn)陣網(wǎng)絡(luò)：

進(jìn)行數(shù)據(jù)初始化：包括節(jié)點(diǎn)初始化和節(jié)點(diǎn)關(guān)系初始化；

畫(huà)布初始化：創(chuàng)建igraph對(duì)象，設(shè)定畫(huà)布屬性、節(jié)點(diǎn)屬性以及邊屬性；

數(shù)據(jù)加載：循環(huán)JsonArray依次調(diào)用igraph對(duì)象的api在畫(huà)布上添加頂點(diǎn)、頂點(diǎn)延伸的邊、二級(jí)節(jié)點(diǎn)、二級(jí)節(jié)點(diǎn)的邊，以此類(lèi)推，直至全部JsonArray的數(shù)據(jù)循環(huán)完畢；所述的頂點(diǎn)和節(jié)點(diǎn)即對(duì)應(yīng)數(shù)據(jù)質(zhì)量檢查規(guī)則，所述的邊即對(duì)應(yīng)數(shù)據(jù)質(zhì)量檢查規(guī)則之間的關(guān)系；

圖像生成：調(diào)用igraph對(duì)象的print方法在畫(huà)布生成檢查規(guī)則二維點(diǎn)陣圖像。

2.根據(jù)權(quán)利要求1所述的政務(wù)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，所述的規(guī)則層所包含的質(zhì)量檢查規(guī)則均采用相同的結(jié)構(gòu)進(jìn)行存儲(chǔ)，其結(jié)構(gòu)包含三個(gè)組成部分：規(guī)則屬性、判定邏輯單元、真判定動(dòng)作單元、偽判定動(dòng)作單元；其中，規(guī)則屬性用于記錄該質(zhì)量檢查規(guī)則的基礎(chǔ)信息包括規(guī)則名稱(chēng)、規(guī)則編號(hào)、業(yè)務(wù)分類(lèi)、檢查指標(biāo)、檢查方式；判斷邏輯單元用于解釋所述質(zhì)量檢查規(guī)則觸發(fā)真判定動(dòng)作單元或偽判定動(dòng)作單元的條件；真判定動(dòng)作單元用于記錄所述質(zhì)量檢查規(guī)則成立時(shí)系統(tǒng)處理的后續(xù)動(dòng)作；偽判定動(dòng)作單元用于記錄所述質(zhì)量檢查規(guī)則不成立時(shí)系統(tǒng)處理的后續(xù)動(dòng)作。

3.根據(jù)權(quán)利要求1所述的政務(wù)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，所述的數(shù)據(jù)質(zhì)量檢查指標(biāo)包括完整性、準(zhǔn)確性、唯一性、一致性和時(shí)效性；進(jìn)行規(guī)則加載形成檢查規(guī)則二維網(wǎng)絡(luò)時(shí)，優(yōu)先對(duì)完整性和準(zhǔn)確性指標(biāo)對(duì)應(yīng)的檢查規(guī)則節(jié)點(diǎn)進(jìn)行加載，然后再對(duì)唯一性、一致性和時(shí)效性指標(biāo)對(duì)應(yīng)的檢查規(guī)則節(jié)點(diǎn)進(jìn)行加載，最終形成檢查規(guī)則二維點(diǎn)陣網(wǎng)絡(luò)；其中，同一數(shù)據(jù)質(zhì)量檢查指標(biāo)對(duì)應(yīng)的多個(gè)檢查規(guī)則節(jié)點(diǎn)之間相鄰。

4.根據(jù)權(quán)利要求1所述的政務(wù)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，所述的進(jìn)行數(shù)據(jù)初始化包括：

利用python中的DB-API接口將描述節(jié)點(diǎn)的數(shù)據(jù)和描述節(jié)點(diǎn)間關(guān)系的數(shù)據(jù)分別通過(guò)實(shí)體映射邏輯從數(shù)據(jù)庫(kù)中取出并形成相應(yīng)的兩個(gè)實(shí)體List，分別是節(jié)點(diǎn)實(shí)體List和節(jié)點(diǎn)關(guān)系實(shí)體List，即完成節(jié)點(diǎn)數(shù)據(jù)初始化；

設(shè)定兩層嵌套循環(huán)，其中，外層循環(huán)節(jié)點(diǎn)關(guān)系實(shí)體，內(nèi)層循環(huán)節(jié)點(diǎn)實(shí)體；獲取節(jié)點(diǎn)關(guān)系實(shí)體List中的頂點(diǎn)對(duì)應(yīng)的實(shí)體關(guān)系，通過(guò)希爾排序算法進(jìn)行插入排序，使數(shù)據(jù)形成從頂點(diǎn)依次向下連接的格式，最后按照標(biāo)準(zhǔn)JsonArray格式進(jìn)行格式化操作，即完成節(jié)點(diǎn)關(guān)系初始化。