[發明專利]一種數據稽核方法及任務調度器

在審

• 申請號: 201811564611.3
• 申請日: 2018-12-20
• 公開（公告）號: CN109634948A
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 陶文亮;婁必偉;王力
• 申請（專利權）人: 貴州工程應用技術學院
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 呂學文;武媛

本發明實施例公開了一種數據稽核方法及任務調度器，該方法包括：根據預建立的數據采集規則采集數據；按照預建立的數據稽核規則對數據進行稽核處理，獲取有效數據，確定無效數據的源頭反饋至客戶端；按照預建立的業務稽核規則以及有效數據對應的數值，對有效數據對應的業務進行稽核，獲取有效業務，確定無效業務的源頭反饋至客戶端。通過上述處理，可以大大減少，甚至避免最終獲取的數據中的“臟數據”，而且還可以將產生“臟數據”的源頭反饋至客戶端，便于客戶及時處理。在數據轉換之前，就已經篩選掉“臟數據”，而且對產生“臟數據”的源頭也進行了有效處理。

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據稽核方法及任務調度器。

背景技術

對于數據分析系統而言，通常是采集多個業務系統的數據進行分析處理。而不同業務系統的數據之間可能存在一些問題，例如不同系統中相同的數據表述不一致，同一系統內部的業務發生沖突等等。因此，在進行數據轉換時往往需要對大量的數據進行清洗集成處理。而這個過程實際上是在數據倉庫中完成的，后續從各個業務系統抽取數據時依然存在上述問題。也就是“治標不治本”，并沒有從根本上解決上述問題。而不斷的重復在數據轉換時對大量的數據進行清洗費時費力，嚴重影響工作效率。

那么，如何才能保證數據分析系統在數據轉換時盡量少的清洗數據，甚至規避掉這個過程，從而提升工作效率成為亟待解決的技術問題。

發明內容

本發明實施例的目的在于提供一種數據稽核方法及任務調度器，用以解決現有數據分析系統不能保證數據轉換時盡量少的清洗數據，甚至規避掉這個過程，從而導致工作效率大大降低的問題。

為實現上述目的，本發明實施例提供一種數據稽核方法，該方法包括：

根據預建立的數據采集規則采集數據；

按照預建立的數據稽核規則對數據進行稽核處理，獲取有效數據，并確定無效數據的源頭反饋至客戶端；

按照預建立的業務稽核規則以及有效數據對應的數值，對有效數據對應的業務進行稽核，獲取有效業務，并確定無效業務的源頭反饋至客戶端。

本發明實施例具有如下優點：按照預設采集規則采集數據，首先清洗數據中的一部分“臟數據”。即，按照預設數據稽核規則對數據進行稽核處理，獲取有效數據，刪除無效數據。不過，刪除之前還需要確定無效數據的源頭，反饋至客戶端。便于用戶在得知產生“臟數據”的源頭后，及時進行有效處理，避免后續仍然有“臟數據”的產生。然后，再按照業務稽核規則，根據有效數據對應的數值，對有效數據對應的業務進行稽核，獲取有效業務，并確定無效業務的源頭反饋至客戶端。類似的，不僅僅確定業務中的無效業務，確定無效業務的源頭，還需要刪除無效業務，以及與無效業務對應的數值。該過程，實際也是對“臟數據”進行刪除的一個過程。通過上述處理，可以大大減少，甚至避免最終獲取的數據中的“臟數據”，而且還可以將產生“臟數據”的源頭反饋至客戶端，便于客戶及時處理。在數據轉換之前，就已經篩選掉“臟數據”，而且對產生“臟數據”的源頭也進行了有效處理。因此，在數據轉換時可以盡量減少的清洗數據，甚至規避這個過程，從而大大提升了工作效率。

為實現上述目的，本發明實施例提供一種任務調度器，該任務調度器包括：

采集單元，用于根據預建立的數據采集規則采集數據；

處理單元，用于按照預建立的數據稽核規則對數據進行稽核處理，獲取有效數據，并確定無效數據的源頭；

發送單元，用于將無效數據的源頭反饋至客戶端；

處理單元還用于，按照預建立的業務稽核規則以及有效數據對應的數值，對有效數據對應的業務進行稽核，獲取有效業務，并確定無效業務的源頭；

發送單元還用于，將無效業務的源頭反饋至客戶端。