[發(fā)明專(zhuān)利]一種數(shù)據(jù)評(píng)價(jià)方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810947681.0
• 申請(qǐng)日: 2018-08-17
• 公開(kāi)（公告）號(hào): CN109254959B
• 公開(kāi)（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 謝桂園;劉忻;魏文國(guó);蔡君
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東技術(shù)師范大學(xué);廣州市品高軟件股份有限公司
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 顏希文;麥小嬋

本發(fā)明公開(kāi)了一種數(shù)據(jù)評(píng)價(jià)方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)，所述方法包括：基于數(shù)據(jù)評(píng)價(jià)體系的數(shù)據(jù)質(zhì)量評(píng)價(jià)功能和數(shù)據(jù)開(kāi)放的評(píng)價(jià)功能，從數(shù)據(jù)資源詳情界面中收集數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和數(shù)據(jù)開(kāi)放評(píng)價(jià)信息；分別將所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和所述數(shù)據(jù)開(kāi)放評(píng)價(jià)信息輸入預(yù)先構(gòu)建的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型和數(shù)據(jù)開(kāi)放評(píng)價(jià)模型中進(jìn)行評(píng)價(jià)分析，輸出相應(yīng)的評(píng)價(jià)報(bào)告。本發(fā)明能夠分析整個(gè)數(shù)據(jù)湖的數(shù)據(jù)質(zhì)量及存在問(wèn)題，找出問(wèn)題的原因，整改數(shù)據(jù)質(zhì)量的常見(jiàn)問(wèn)題，持續(xù)推進(jìn)數(shù)據(jù)湖的持續(xù)開(kāi)放和共享。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)評(píng)價(jià)方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

當(dāng)數(shù)據(jù)湖的數(shù)據(jù)被大規(guī)模使用后，各種數(shù)據(jù)質(zhì)量的評(píng)價(jià)、問(wèn)題反饋便會(huì)隨之而來(lái)，對(duì)此，需要一套可以利用收集到的評(píng)價(jià)信息形成的數(shù)據(jù)質(zhì)量評(píng)價(jià)體系，以確保整體數(shù)據(jù)質(zhì)量。

在對(duì)現(xiàn)有技術(shù)的研究與實(shí)踐過(guò)程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，基于從數(shù)據(jù)使用者處(機(jī)構(gòu)、組織)收集評(píng)價(jià)信息并對(duì)數(shù)據(jù)質(zhì)量評(píng)判，包括數(shù)據(jù)是否及時(shí)、數(shù)據(jù)是否完整、數(shù)據(jù)的價(jià)值如何，能夠分析整個(gè)數(shù)據(jù)湖的數(shù)據(jù)質(zhì)量及存在問(wèn)題，找出問(wèn)題的原因，整改數(shù)據(jù)質(zhì)量的常見(jiàn)問(wèn)題，持續(xù)推進(jìn)數(shù)據(jù)湖的持續(xù)開(kāi)放和共享。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題在于，提供一種構(gòu)建數(shù)據(jù)評(píng)價(jià)體系的方法，能夠分析整個(gè)數(shù)據(jù)湖的數(shù)據(jù)質(zhì)量及存在問(wèn)題，找出問(wèn)題的原因，整改數(shù)據(jù)質(zhì)量的常見(jiàn)問(wèn)題，持續(xù)推進(jìn)數(shù)據(jù)湖的持續(xù)開(kāi)放和共享。

為解決上述問(wèn)題，本發(fā)明的一個(gè)實(shí)施例提供一種構(gòu)建數(shù)據(jù)評(píng)價(jià)體系的方法，適用于在計(jì)算機(jī)設(shè)備中執(zhí)行，至少包括如下步驟：

基于數(shù)據(jù)評(píng)價(jià)體系的數(shù)據(jù)質(zhì)量評(píng)價(jià)功能和數(shù)據(jù)開(kāi)放的評(píng)價(jià)功能，從數(shù)據(jù)資源詳情界面中收集數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和數(shù)據(jù)開(kāi)放評(píng)價(jià)信息；

分別將所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和所述數(shù)據(jù)開(kāi)放評(píng)價(jià)信息輸入預(yù)先構(gòu)建的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型和數(shù)據(jù)開(kāi)放評(píng)價(jià)模型中進(jìn)行評(píng)價(jià)分析，輸出相應(yīng)的評(píng)價(jià)報(bào)告。

進(jìn)一步地，所述分別將所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和所述數(shù)據(jù)開(kāi)放評(píng)價(jià)信息輸入預(yù)先構(gòu)建的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型和數(shù)據(jù)開(kāi)放評(píng)價(jià)模型中進(jìn)行評(píng)價(jià)分析，輸出相應(yīng)的評(píng)價(jià)報(bào)告，具體為:

將所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息輸入預(yù)先構(gòu)建的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，進(jìn)行數(shù)據(jù)及時(shí)性、數(shù)據(jù)完整性和數(shù)據(jù)一致性分析，并按設(shè)定的周期生成數(shù)據(jù)質(zhì)量評(píng)價(jià)報(bào)告；

將所述數(shù)據(jù)開(kāi)放評(píng)價(jià)信息輸入預(yù)先構(gòu)建的數(shù)據(jù)開(kāi)放評(píng)價(jià)模型，進(jìn)行數(shù)據(jù)資源個(gè)數(shù)、數(shù)據(jù)資源記錄數(shù)、數(shù)據(jù)資源存儲(chǔ)大小和數(shù)據(jù)資源更新周期分析，并按設(shè)定的周期生成數(shù)據(jù)開(kāi)放評(píng)價(jià)報(bào)告；

根據(jù)所述數(shù)據(jù)質(zhì)量評(píng)價(jià)報(bào)告和所述數(shù)據(jù)開(kāi)放評(píng)價(jià)報(bào)告，輸出最終的評(píng)價(jià)報(bào)告，以使客戶端根據(jù)所述評(píng)價(jià)報(bào)告對(duì)相應(yīng)的數(shù)據(jù)質(zhì)量和數(shù)據(jù)開(kāi)放的相關(guān)問(wèn)題進(jìn)行整改。

進(jìn)一步地，所述數(shù)據(jù)質(zhì)量評(píng)價(jià)模型對(duì)所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息中的數(shù)據(jù)一致性的評(píng)價(jià)分析步驟為：從所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息中抽取需要進(jìn)行數(shù)據(jù)一致性評(píng)價(jià)的數(shù)據(jù)，形成樣本數(shù)據(jù)表；

對(duì)所述樣本數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行格式化，即從所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息中大量的非結(jié)構(gòu)化的信息抽取出結(jié)構(gòu)化信息，以備進(jìn)一步的分析應(yīng)用；抽取的結(jié)構(gòu)化信息包括出現(xiàn)問(wèn)題的字段，所述問(wèn)題包括內(nèi)容不一致、數(shù)據(jù)量不一致、數(shù)字不一致，以及文件體不一致；

根據(jù)所述結(jié)構(gòu)化信息，提取導(dǎo)致數(shù)據(jù)不一致的最大共性，獲得導(dǎo)致問(wèn)題的根因。

進(jìn)一步地，，所述數(shù)據(jù)質(zhì)量評(píng)價(jià)信息，為對(duì)數(shù)據(jù)資源的總體評(píng)價(jià)，包括定性的星級(jí)評(píng)價(jià)和評(píng)價(jià)內(nèi)容描述；所述數(shù)據(jù)開(kāi)放評(píng)價(jià)信息，為對(duì)數(shù)據(jù)資源開(kāi)放內(nèi)容與用戶需求的滿足度評(píng)價(jià)，包括數(shù)據(jù)開(kāi)放的記錄數(shù)和字段內(nèi)容是否足夠。

本發(fā)明的一個(gè)實(shí)施例還提供了一種數(shù)據(jù)評(píng)價(jià)裝置，包括：

所述數(shù)據(jù)評(píng)價(jià)采集模塊，用于基于數(shù)據(jù)評(píng)價(jià)體系的數(shù)據(jù)質(zhì)量評(píng)價(jià)功能和數(shù)據(jù)開(kāi)放的評(píng)價(jià)功能，從數(shù)據(jù)資源詳情界面中收集數(shù)據(jù)質(zhì)量評(píng)價(jià)信息和數(shù)據(jù)開(kāi)放評(píng)價(jià)信息；