[發明專利]數據檢測方法及裝置、存儲介質及電子設備

在審

• 申請號: 202110949022.2
• 申請日: 2021-08-18
• 公開（公告）號: CN113656391A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張振;阮宜龍;周文紅;楊磊;李念;安鵬振;張磊;陳盈;張苗苗;邢曉杰
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

本公開提供了一種數據檢測方法、裝置、電子設備及存儲介質，涉及計算機技術領域。該方法包括：獲取待檢測數據，從待檢測數據中采集待檢測樣本，進而提取待檢測樣本的實際特征向量；調取預測模型，根據預測模型確定與待檢測樣本對應的預測結果范圍；根據實際特征向量和預測結果范圍確定待檢測數據的檢測結果；其中，檢測結果包括：異常或正常。該方法可以針對海量數據的接入，通過樣本采集、回歸模型進行分析，在資源占用較少的情況下實現對整體數據質量快速并準確的質量檢測。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據檢測方法及裝置、存儲介質及電子設備。

背景技術

隨著大數據技術發展，海量數據大量參與到實際生產，受網絡、資源等限制，大數據主要通過流處理技術(如：Storm)進行采集。而在萬億級數據記錄的應用場景中，需要在數據入庫前，通過有效的管理方式提前發現質量問題以及時管控。

相關技術中，對于大數據的質量管控，通常是通過在采集過程中設置完整性、合規性等規則開展質量管控。該方式僅局限于傳統模式下文件形式采集、稽核規則單一的數據；對于流處理等技術所采集的記錄級海量數據，存在著方案執行難度大、資源占用高等問題。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種數據檢測方法、裝置、電子設備及存儲介質，可以在采集過程中利用樣本檢測實現對整體數據質量的管控，以解決現有技術中對于記錄級海量數據的數據管控難以實現的問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種數據檢測方法，包括：

獲取待檢測數據，從待檢測數據中采集待檢測樣本，進而提取待檢測樣本的實際特征向量；調取預測模型，根據預測模型確定與待檢測樣本對應的預測結果范圍；根據實際特征向量和預測結果范圍確定待檢測數據的檢測結果；其中，檢測結果包括：異常或正常。

在本公開一個實施例中，從待檢測數據中采集待檢測樣本，包括：獲取抽樣標準，根據抽樣標準確定采樣數量；從待檢測數據中，采用流處理技術采集滿足采樣數量的一批數據文件，以作為待檢測樣本。

在本公開一個實施例中，提取待檢測樣本的實際特征向量，包括：獲取指標特征以及指標特征序列，確定待檢測樣本在指標特征下的特征值；基于指標特征序列，根據特征值確定待檢測樣本的實際特征向量。

在本公開一個實施例中，確定待檢測樣本在指標特征下的特征值，包括：判斷待檢測樣本中的數據文件是否具備特征描述字段；若是，則根據特征描述字段獲取數據文件的特性描述信息，并基于特征描述字段與指標特征的對應關系，確定指標特征與特性描述信息的對應關系；若否，則基于指標特征對數據文件進行統計分析，得到數據文件的特性描述信息；根據待檢測樣本中的數據文件的特性描述信息，確定待檢測樣本在指標特征下的特征值；其中，指標特征包括：數據數量信息、占用空間信息、字段數信息、關鍵字信息、變化趨勢信息、震蕩幅度信息中的至少一個。

在本公開一個實施例中，基于指標特征序列，根據特征值確定待檢測樣本的實際特征向量，包括：對指標特征下的特征值進行標準化處理，生成指標特征下的標準化特征值；基于指標特征序列對標準化特征值進行排序，生成實際特征向量。

在本公開一個實施例中，預測模型是采用以下方式得到的：獲取歷史數據和抽樣標準，以從歷史數據中確定預設數量個建模樣本；其中，建模樣本中的數據文件數量是根據抽樣標準確定的；提取各建模樣本的標準化特征向量，并根據歷史數據確定均值特征向量，進而根據均值特征向量和各建模樣本的標準化特征向量確定預測模型中的回歸系數；以及，根據各建模樣本的標準化特征向量中的震蕩幅度信息確定波動系數閾值；利用波動系數閾值和回歸系數搭建預測模型。