[發明專利]數據合規檢查方法及裝置

有效

• 申請號: 201710878752.1
• 申請日: 2017-09-26
• 公開（公告）號: CN107844515B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 尹志勇
• 申請（專利權）人: 北京安博通科技股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

本發明實施例提供了一種數據合規檢查方法及裝置，本發明實施例的方法首先自動篩滿足預定條件選數據文件，讀取數據文件中的字段，之后在讀取到的所有字段中篩選出需要檢查的待檢查字段，并在對待檢查字段進行預處理之后，將處理后的待檢查字段存儲到第一列表中，最后根據預定規則對第一列表中的每個待檢查字段進行合規檢查，得到檢查結果。此技術方案能夠對數據進行準確地、自動化地合規檢查，節省了大量的人力和時間，提高了數據合規檢查的效率。

技術領域

本發明實施例涉及技術數據管理領域，并且更具體地，涉及一種數據合規檢查方法及裝置。

背景技術

隨著網絡技術的發展及廣泛應用，數據的數量越來越龐大，數據檢查與管理的任務也越來越繁重。在數量龐大的數據中，除正常數據之外，還存在一寫不符合既定規則的數據，即不合規數據，例如數據長度不在預定長度范圍內的數據，又例如，數據格式不符合預定格式的數據等等。這些數據不僅造成內存的浪費，更會導致使用這些數據的應用程序在執行中產生錯誤，例如，導致某一系統無法進行生產、無法進行查詢檢索、無法進行數據定位、無法瀏覽準確數據等等。因此對這些不合規數據的檢查變得非常重要。

目前，對著數據進行合規檢查一般采用人工的方式，即需要人對數據的各個字段逐一核對，由于數據量巨大，這種人工核對的檢查方式造成了時間以及人力的嚴重消耗。

發明內容

本發明實施例提供一種數據合規檢查方法及裝置，其能夠自動對數據進行準確地合規檢查，從而節省了大量的人力和時間，提高了數據合規檢查的效率。

第一方面，本發明實施例提供了一種數據合規檢查方法，所述方法包括如下步驟：

篩選出滿足預定條件的數據文件，并讀取各個所述數據文件中的字段，

從所述字段中篩選出需要檢查的字段，并作為待檢查字段；

對各個所述待檢查字段進行預處理；

將預處理后的所述待檢查字段存儲在第一列表中；

檢查所述第一列表中的每個所述待檢查字段是否符合預定規則。

結合第一方面，在第一種可能的實現方式中，所述篩選出滿足預定條件的數據文件之前，所述方法還包括如下步驟：

對于每個所述數據文件，讀取當前數據文件的目錄，并將當前數據文件的目錄存儲在第二列表中。

結合第一方面的第一種可能的實現方式，在第二種可能的實現方式中，所述篩選出滿足預定條件的數據文件，并讀取各個所述數據文件中的字段，具體包括如下步驟：

根據所述第二列表中存儲的目錄的順序，依次判斷每個所述目錄對應的數據文件是否滿足預定條件；

如果當前目錄對應的數據文件滿足預定條件，則根據當前目錄，讀取與其對應的數據文件中的字段。

結合第一方面的第二種可能的實現方式，在第三種可能的實現方式中，所述篩選出滿足預定條件的數據文件具體為：

篩選出具有預定文件擴展名的數據文件。

結合第一方面，在第四種可能的實現方式中，所述檢查所述第一列表中的每個所述待檢查字段是否符合預定規則之前，所述方法還包括如下步驟：

對于所述第一列表中的每個待檢查字段，根據其所屬的數據文件，為當前待檢查字段設置位移偏移量，并利用所述位移偏移量形成當前待檢查字段的地址；

所述檢查所述第一列表中的每個所述待檢查字段是否符合預定規則具體為：根據每個待檢查字段的地址，檢查每個所述待檢查字段是否符合預定規則。

結合第一方面或第一方面的第四種可能的實現方式，在第五種可能的實現方式中，所述檢查所述第一列表中的每個所述待檢查字段是否符合預定規則具體為：