[發(fā)明專利]報(bào)表數(shù)據(jù)的校驗(yàn)方法、系統(tǒng)和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611142361.5
• 申請(qǐng)日: 2016-12-12
• 公開（公告）號(hào): CN108614742B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 何林艷
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07
• 代理公司: 北京成創(chuàng)同維知識(shí)產(chǎn)權(quán)代理有限公司 11449
• 代理人: 蔡純;劉靜

本發(fā)明公開了一種報(bào)表數(shù)據(jù)的校驗(yàn)方法、系統(tǒng)和裝置，所述方法包括檢測(cè)與報(bào)表對(duì)應(yīng)的后臺(tái)數(shù)據(jù)庫的新增更新數(shù)據(jù)是否已經(jīng)具備；在后臺(tái)數(shù)據(jù)庫的新增更新數(shù)據(jù)已經(jīng)具備時(shí)，加載所述報(bào)表；對(duì)所述報(bào)表進(jìn)行截圖處理，獲取所述報(bào)表的圖像；處理所述報(bào)表的圖像，從所述報(bào)表的圖像中獲取數(shù)據(jù)的篩選條件和結(jié)果數(shù)據(jù)；根據(jù)所述篩選條件查詢與所述報(bào)表對(duì)應(yīng)的后臺(tái)物理表，獲取與所述篩選條件對(duì)應(yīng)的后端數(shù)據(jù)；和對(duì)比同一篩選條件的結(jié)果數(shù)據(jù)和后端數(shù)據(jù)，完成報(bào)表數(shù)據(jù)的校驗(yàn)。本發(fā)明自動(dòng)檢測(cè)報(bào)表頁面數(shù)據(jù)，在降低檢測(cè)成本的同時(shí)，提高了效率；在數(shù)據(jù)一旦同步到了應(yīng)用數(shù)據(jù)庫即可進(jìn)行頁面數(shù)據(jù)的準(zhǔn)確性檢測(cè)，時(shí)效性高；而且避免了由于獨(dú)立檢測(cè)而造成的數(shù)據(jù)檢測(cè)不全面的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說，涉及一種報(bào)表數(shù)據(jù)的校驗(yàn)方法、系統(tǒng)和裝置。

背景技術(shù)

報(bào)表系統(tǒng)是一種最常見的數(shù)據(jù)產(chǎn)品，報(bào)表為需求人員提供各種各樣的數(shù)據(jù)，包括績(jī)效考核、日常運(yùn)營、儀表盤以及分析挖掘的報(bào)告等。目前，為將數(shù)據(jù)展現(xiàn)在報(bào)表，系統(tǒng)需要完成以下流程：

步驟1，運(yùn)行Python或Shell等程序，將計(jì)算結(jié)果數(shù)據(jù)存儲(chǔ)在Hdfs文件中。

步驟2，將計(jì)算完的結(jié)果數(shù)據(jù)同步到應(yīng)用數(shù)據(jù)庫中，如Mysql、Impala、Hbase等應(yīng)用數(shù)據(jù)庫。

步驟3，采用Java后端代碼處理展現(xiàn)邏輯，或采用報(bào)表工具，如Bo/Biee開發(fā)后端模型。

步驟4，采用Java前端進(jìn)行頁面展現(xiàn)邏輯處理，或者采用報(bào)表工具，如Bo/Biee開發(fā)前端進(jìn)行頁面展現(xiàn)邏輯處理。

用戶登陸報(bào)表系統(tǒng)查看數(shù)據(jù)時(shí)，包括兩個(gè)步驟：步驟1，登錄報(bào)表系統(tǒng)，報(bào)表系統(tǒng)判斷所述用戶是否有權(quán)限，然后，步驟2，在用戶有權(quán)限時(shí)，則依據(jù)所述用戶的帳戶獲取相應(yīng)的數(shù)據(jù)，并展現(xiàn)給用戶。

從上述過程可見，需要經(jīng)過四個(gè)環(huán)節(jié)的處理才能將數(shù)據(jù)展現(xiàn)到報(bào)表系統(tǒng)，用戶看到報(bào)表系統(tǒng)的數(shù)據(jù)需要經(jīng)過兩個(gè)環(huán)節(jié)的處理，如果其中的任何一個(gè)環(huán)節(jié)出現(xiàn)了錯(cuò)誤，那最終用戶看到的數(shù)據(jù)就是錯(cuò)誤的。如何保證每個(gè)環(huán)節(jié)不出問題，讓用戶看到的數(shù)據(jù)是正確的，一直是所有報(bào)表系統(tǒng)研發(fā)團(tuán)隊(duì)在思考的問題。

為了保證用戶看到的數(shù)據(jù)是正確的，大部分采用數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)來監(jiān)控每天通過python/shell程序計(jì)算的數(shù)據(jù)結(jié)果是否正確，從而可以解決數(shù)據(jù)展現(xiàn)流程中的步驟1中可能出現(xiàn)的數(shù)據(jù)異常問題。在從步驟1到步驟2的同步過程中，現(xiàn)有同步文件系統(tǒng)中會(huì)自動(dòng)檢測(cè)數(shù)據(jù)文件的一致性，所以可以保證步驟1和步驟的數(shù)據(jù)一致性。

通過人工寫SQL的方式，可以解決數(shù)據(jù)展現(xiàn)流程中步驟3、步驟4中可能出現(xiàn)的數(shù)據(jù)異常問題。采用人工點(diǎn)擊報(bào)表系統(tǒng)上的每張報(bào)表，結(jié)合個(gè)人經(jīng)驗(yàn)和SQL方式，可以解決用戶查看數(shù)據(jù)流程步驟2中可能出現(xiàn)的數(shù)據(jù)異常問題，保證用戶從頁面上看到的數(shù)據(jù)和底層數(shù)據(jù)一致。

盡管在不同階段采用了適應(yīng)各自階段的方案，但是仍有以下問題：

1)不全面性：執(zhí)行SQL的方式只能判斷頁面處理邏輯是否正確以及后端底層數(shù)據(jù)是否正確，并不能確定用戶打開頁面看到的數(shù)據(jù)是否正確。

2)高成本、低效性：上述人工點(diǎn)擊報(bào)表的方式，只能確認(rèn)報(bào)表是否能正常打開和是否有數(shù)據(jù)展現(xiàn)出來，而不能判斷展現(xiàn)出來的數(shù)據(jù)和后端底層的數(shù)據(jù)是否一致。

3)滯后性：純靠人工方式來保證頁面和后端數(shù)據(jù)一致性，存在很嚴(yán)重的滯后性，很多時(shí)候報(bào)表系統(tǒng)用戶先發(fā)現(xiàn)問題，用戶體驗(yàn)不好，不能做到提前告知用戶數(shù)據(jù)準(zhǔn)確與否。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，對(duì)報(bào)表數(shù)據(jù)的校驗(yàn)不全面、采用人工點(diǎn)擊報(bào)表存在高成本、低效性及滯后性，提供了一種報(bào)表數(shù)據(jù)的校驗(yàn)方法、系統(tǒng)和裝置。

為解決上述技術(shù)問題，根據(jù)本發(fā)明的一個(gè)方面，提供了一種報(bào)表數(shù)據(jù)的校驗(yàn)方法，其中，包括：

檢測(cè)與報(bào)表對(duì)應(yīng)的后臺(tái)數(shù)據(jù)庫的新增更新數(shù)據(jù)是否已經(jīng)具備；