[發明專利]數據檢測方法及裝置

在審

• 申請號: 202110090991.7
• 申請日: 2021-01-22
• 公開（公告）號: CN112818411A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 樊平
• 申請（專利權）人: 深圳市今日投資數據科技有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64;G06F9/54;G06Q10/06;G06Q40/04
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 尹均利

本申請實施例公開了一種數據檢測方法，包括:接收質檢用戶通過用戶交互界面輸入的待檢數據的檢測請求；對所述檢測請求按照預定條件進行有效性測試；響應于測試通過的情況，按照檢測請求的所述數據檢測周期和所述優先級加入任務隊列，生成檢測任務，并將所述檢測任務發送至所述執行器；所述執行器按照異步方式執行所述檢測任務，得到檢測結果；將所述檢測結果發送至所述用戶交互界面，并按照所述預警方式提示所述質檢用戶。其能夠保證數據的準確性、完整性、及時性。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據檢測方法、裝置、電子設備及計算機可讀介質。

背景技術

證券行業對證券信息數據服務商所提供數據的準確性、完整性、及時性有很高的要求，每個交易日有海量、繁雜的數據需要處理，同時也需要對數據的采集、處理、發布等各個環節進行全面檢測與監控，來確保數據的準確性、完整性、及時性。目前大多都是依賴于人工或簡單的工具如查詢分析器等進行檢查與處理。隨著需要檢測的數據日益增多，由此帶來的是工作強度大、操作繁瑣、問題發現和處理不及時、處理過程無法追蹤及溯源等弊端。

發明內容

本申請實施例提供一種數據檢測方法，其能夠保證數據的準確性、完整性、及時性。

本申請實施例提供一種數據檢測方法，所述方法應用于數據檢測系統，該系統具有用戶交互界面、執行器，包括:

接收質檢用戶通過用戶交互界面輸入的待檢數據的檢測請求，其中，所述待檢數據的檢測請求包括待檢測對象名稱及其屬性數據、數據檢測周期、預警方式，及所述質檢用戶定義；

對所述檢測請求按照預定條件進行有效性測試；

響應于測試通過的情況，按照檢測請求的所述數據檢測周期和所述優先級加入任務隊列，生成檢測任務，并將所述檢測任務發送至所述執行器；

所述執行器按照異步方式執行所述檢測任務，得到檢測結果；

將所述檢測結果發送至所述用戶交互界面，并按照所述預警方式提示所述質檢用戶。

在一些實施例中，所述響應于測試通過的情況，按照檢測請求的所述數據檢測周期和所述優先級加入任務隊列，生成檢測任務，包括：

利用異步任務處理器或定時任務分配器根據所述數據檢測周期和所述優先級，將標注為激活狀態的所述檢測請求生成檢測任務對象，放入隊列管理工具Celery任務隊列中，生成檢測任務。

在一些實施例中，所述執行器按照異步方式執行所述檢測任務，得到檢測結果，包括：

所述執行器根據所述檢測任務的數量啟動多個隊列管理工具Celery集群，按照異步方式執行所述檢測任務，得到檢測結果。

在一些實施例中，所述執行器按照異步方式執行所述檢測任務，得到檢測結果，包括：

當接收到所述啟動檢測任務指令時，隊列管理工具Celery通過調度進程Beat向Redis隊列發布檢測任務；

所述隊列管理工具Celery的工作進程采用競爭模式從所述Redis隊列中獲取并執行所述檢測任務，獲得所述檢測結果。

在一些實施例中，所述檢測對象名稱包括宏引用，所述執行器按照異步方式執行所述檢測任務，得到檢測結果，包括：

查詢是否存在所述宏引用對應的宏變量的當前值；

響應于不存在當前值的情況，重新執行所述宏變量，獲取所述當前值；

響應于存在當前值的情況，獲取所述當前值，并以JSON方式將其嵌入至所述檢測任務中，執行所述檢測任務，得到檢測結果。

在一些實施例中，所述宏變量包括數據庫及所述數據庫連接參數，檢測結果集，系統公共函數及參數。