[發明專利]一種基于excel數據表質量校驗方法及系統

在審

• 申請號: 202110283701.0
• 申請日: 2021-03-16
• 公開（公告）號: CN112989778A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 羅大鋒
• 申請（專利權）人: 深圳市思迪信息技術股份有限公司
• 主分類號: G06F40/18
• 分類號: G06F40/18
• 代理公司: 深圳市欣亞知識產權代理事務所(普通合伙) 44621
• 代理人: 葛勤;程光慧

本發明適用于excel數據表質量校驗領域，提供了一種基于excel數據表質量校驗方法及系統，所述方法包括：基于excel數據表質量校驗過程配置校驗規則；獲取excel數據表中的預提取校驗數據，基于所述excel數據表進行質量校驗；若所述excel數據表質量校驗出現異常數據則預警通知。通過所述基于excel數據表質量校驗方法進行excel表格規則定義質量校驗，把規則和程序關聯起來，實現了一種簡單、成本低、可配置的通用數據表質量校驗預警通知目的。

技術領域

本發明屬于數據表質量校驗領域，尤其涉及一種基于excel數據表質量校驗方法及系統。

背景技術

證券金融市場每天都會產生海量、繁雜的數據，比如市場行情數據、上市公司的財務數據、各研究機構的研報評級數據、市場新聞數據等。有結構化的也有非結構化的，我們通過程序和人工相結合的方式，把不同來源的、異構的的數據，匯集，整理成標準的、結構化的金融市場數據；為金融數據分析和研究，提供數據基礎。

在海量、繁雜的數據處理和發布過程中，由于很多不可預料的原因(如網絡異常、數據源結構調整、程序崩潰、錄入誤差等)，很有可能對部分數據表造成數據表質量的影響。如何及時發現錯誤數據，當前一般做法是數據產品經理根據數據業務特殊定義校驗規則，程序員具體開發對應具體校驗程序腳本。該做法數據產品經理無法自主做數據校驗規則實現，必須通過程序員來做開發；規則文件和程序文件沒有系統層面的關聯，缺乏有效的手段讓數據校驗規則的經驗持續進行積累及迭代；校驗程序腳本運行也無法做到統一管理。因此為了解決上述問題，需要一種通過基于excel表格定義，把規則和程序關聯起來，實現一種簡單、成本低、可配置的通用數據表質量校驗方法。

發明內容

有鑒于此，本發明實施例提供了一種基于excel數據表質量校驗方法及系統，以解決現有技術中無法自主做數據校驗規則實現統一管理，缺乏有效的手段讓數據校驗規則的經驗持續進行積累及迭代。

本發明實施例的第一方面提供了一種基于excel數據表質量校驗方法，所述方法包括：基于excel數據表質量校驗過程配置校驗規則；

獲取excel數據表中的預提取校驗數據，基于所述excel數據表進行質量校驗；

若所述excel數據表質量校驗出現異常數據則預警通知。

本發明實施例的第二方面提供了一種基于excel數據表質量校驗系統包括：配置校驗規則模塊，獲取質量校驗模塊，異常數據預警模塊；

所述配置校驗規則模塊用于基于excel數據表質量校驗過程配置校驗規則；

所述獲取質量校驗模塊用于獲取excel數據表中的預提取校驗數據，基于所述excel數據表進行質量校驗；

所述異常數據預警模塊用于若所述excel數據表質量校驗出現異常數據則預警通知。

本發明實施例與現有技術相比存在的有益效果是：

本發明首先基于excel數據表質量校驗過程配置校驗規則；獲取excel數據表中的預提取校驗數據，基于所述excel數據表進行質量校驗；若所述excel數據表質量校驗出現異常數據則預警通知。通過所述基于excel數據表質量校驗方法進行excel表格定義，把規則和程序關聯起來，實現了一種簡單、成本低、可配置的通用數據表質量校驗預警通知目的，自主做到讓數據校驗規則的經驗持續進行積累及迭代，使得數據校驗過程更加高效。

附圖說明

圖1為本發明實施例一提供的一種基于excel數據表質量校驗方法實現流程示意圖；

圖2為本發明實施例二提供的一種基于excel數據表質量校驗系統示意圖。本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。

具體實施方式