[發(fā)明專利]一種數(shù)據(jù)探查方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011036080.8
• 申請日: 2020-09-27
• 公開（公告）號: CN112131296A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 王如意;謝永恒;萬月亮
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)探查方法，其特征在于，包括：

獲取與數(shù)據(jù)源對應(yīng)的數(shù)據(jù)抽取規(guī)則、分割規(guī)則和探查需求；

基于所述數(shù)據(jù)抽取規(guī)則和所述數(shù)據(jù)源，確定待處理數(shù)據(jù)；

基于所述分割規(guī)則對所述待處理數(shù)據(jù)進(jìn)行分割，得到分割數(shù)據(jù)；

基于所述探查需求對所述分割數(shù)據(jù)進(jìn)行探查，得到探查結(jié)果。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述分割規(guī)則包括行分割規(guī)則和列分割規(guī)則；

相應(yīng)的，所述基于所述分割規(guī)則對所述待處理數(shù)據(jù)進(jìn)行分割，得到分割數(shù)據(jù)，包括：

基于所述行分割規(guī)則，對所述待處理數(shù)據(jù)進(jìn)行行分割，得到行分割數(shù)據(jù)；

基于所述列分割規(guī)則，對所述行分割數(shù)據(jù)進(jìn)行列分割，得到行列分割數(shù)組；

相應(yīng)的，所述基于所述探查需求對所述分割數(shù)據(jù)進(jìn)行探查，得到探查結(jié)果，包括：

基于所述探查需求對所述行列分割數(shù)組進(jìn)行行探查，得到行探查結(jié)果；

基于所述探查需求對所述行列分割數(shù)組進(jìn)行列探查，得到列探查結(jié)果。

3.根據(jù)權(quán)利要求2所述方法，其特征在于，還包括：

對所述行列分割數(shù)組進(jìn)行下述至少一項行探查：異常數(shù)據(jù)篩選、數(shù)據(jù)排序、數(shù)據(jù)重復(fù)率以及統(tǒng)計數(shù)據(jù)記錄數(shù)；

對所述行列分割數(shù)組進(jìn)行下述至少一項列探查：格式、類型、長度、數(shù)值、空值率、最大值、最小值、平均值以及值域分布。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與數(shù)據(jù)源對應(yīng)的數(shù)據(jù)抽取規(guī)則，包括：

根據(jù)所述數(shù)據(jù)源的類型確定所述數(shù)據(jù)抽取規(guī)則。

5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述基于所述探查需求對所述分割數(shù)據(jù)進(jìn)行探查，得到探查結(jié)果之后，還包括：

統(tǒng)計所述探查結(jié)果，得到統(tǒng)計結(jié)果，基于所述探查需求和所述統(tǒng)計結(jié)果，輸出探查報告。

6.一種數(shù)據(jù)探查裝置，其特征在于，包括：

獲取模塊，用于獲取與數(shù)據(jù)源對應(yīng)的數(shù)據(jù)抽取規(guī)則、分割規(guī)則和探查需求；

待處理數(shù)據(jù)確定模塊，用于基于所述數(shù)據(jù)抽取規(guī)則和所述數(shù)據(jù)源，確定待處理數(shù)據(jù)；

分割模塊，用于基于所述分割規(guī)則對所述待處理數(shù)據(jù)進(jìn)行分割，得到分割數(shù)據(jù)；

探查模塊，用于基于所述探查需求對所述分割數(shù)據(jù)進(jìn)行探查，得到探查結(jié)果。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述分割規(guī)則包括行分割規(guī)則和列分割規(guī)則；

相應(yīng)的，所述分割模塊，包括：

行分割單元，用于基于所述行分割規(guī)則，對所述待處理數(shù)據(jù)進(jìn)行行分割，得到行分割數(shù)據(jù)；

列分割單元，用于基于所述列分割規(guī)則，對所述行分割數(shù)據(jù)進(jìn)行列分割，得到行列分割數(shù)組；

相應(yīng)的，所述探查模塊，包括：

行探查單元，用于基于所述探查需求對所述行列分割數(shù)組進(jìn)行行探查，得到行探查結(jié)果；

列探查單元，用于基于所述探查需求對所述行列分割數(shù)組進(jìn)行列探查，得到列探查結(jié)果。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

統(tǒng)計模塊，用于統(tǒng)計所述探查結(jié)果，得到統(tǒng)計結(jié)果；

輸出模塊，用于基于所述探查需求和所述統(tǒng)計結(jié)果，輸出探查報告。

9.一種電子設(shè)備，其特征在于，所述設(shè)備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-5中任一所述的數(shù)據(jù)探查方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-5中任一所述的數(shù)據(jù)探查方法。