[發明專利]一種數據探查方法、裝置、介質及設備

在審

• 申請號: 202111424653.9
• 申請日: 2021-11-26
• 公開（公告）號: CN114064779A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 黃敏
• 申請（專利權）人: 江蘇云從曦和人工智能有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李鐵

1.一種數據探查方法，其特征在于，包括：

獲取數據探查任務，所述探查任務用于對至少一個數據源進行探查；所述數據探查任務攜帶有數據探查指標；

通過ODBC接口接入所述至少一個數據源，并獲取所述數據源中的數據表；

根據所述數據探查指標匹配相應的數據探查規則；

基于所述數據探查規則對所述數據表進行至少一次探查，得到探查結果。

2.根據權利要求1所述的數據探查方法，其特征在于，所述基于所述數據探查規則對所述數據表進行至少一次探查，包括：

識別所述數據表的類型；

根據所述數據表的類型確定數據抽取規則；

根據所述數據抽取規則從所述所述至少一個數據源中抽取目標數據；

利用所述數據探查規則對所述目標數據進行至少一次探查。

3.根據權利要求1所述的數據探查方法，其特征在于，所述根據所述數據探查指標匹配相應的數據探查規則，包括：

響應匹配指令，從預設規則庫中匹配出與所述數據探查指標匹配的數據探查規則。

4.根據權利要求3所述的數據探查方法，其特征在于，所述探查指標包括以下至少之一：

空值、最大值、最小值、方差、時間增量。

5.根據權利要求1所述的數據探查方法，其特征在于，若所述數據探查任務包括對多個數據源進行探查，則將所述數據探查任務劃分為多個子任務，采用多進程多協程、異步并發的方式執行所述數據探查任務。

6.根據權利要求1所述的數據探查方法，其特征在于，所述方法還包括：

對所述探查結果進行緩存，并利用LRU cache的緩存淘汰算法對所述探查結果進行更新。

7.根據權利要求1所述的數據探查方法，其特征在于，所述方法還包括：

生成探查日記，所述探查日志為執行所述數據探查任務過程中產生的日志信息。

8.一種數據探查裝置，其特征在于，包括：

獲取模塊，用于獲取數據探查任務，所述探查任務用于對至少一個數據源進行探查；所述數據探查任務攜帶數據探查指標；

接入模塊，用于通過ODBC接口接入所述至少一個數據源，并獲取所述數據源中的數據表；

匹配模塊，用于根據所述數據探查指標匹配相應的數據探查規則；

探查模塊，用于基于所述數據探查規則對所述數據表進行至少一次探查，得到探查結果。

9.根據權利要求8所述的數據探查裝置，其特征在于，所述探查模塊包括：

類型識別子模塊，用于識別所述數據表的類型；

規則確定子模塊，用于根據所述數據表的類型確定數據抽取規則；

數據抽取子模塊，用于根據所述數據抽取規則從所述所述數據表中抽取目標數據；

數據探查子模塊，用于利用所述數據探查規則對所述目標數據進行至少一次探查。

10.根據權利要求8所述的數據探查裝置，其特征在于，所述匹配模塊響應匹配指令，從預設規則庫中匹配出與所述數據探查指標匹配的數據探查規則。

11.根據權利要求10所述的數據探查裝置，其特征在于，所述探查指標包括以下至少之一：

空值、最大值、最小值、方差、時間增量。

12.根據權利要求8所述的數據探查裝置，其特征在于，若所述數據探查任務包括對多個數據源進行探查，則將所述數據探查任務劃分為多個子任務，采用多進程多協程、異步并發的方式執行所述數據探查任務。

13.根據權利要求8所述的數據探查裝置，其特征在于，所述裝置還包括：

存儲更新模塊，用于對所述探查結果進行緩存，并利用LRU cache的緩存淘汰算法對所述探查結果進行更新。