[發(fā)明專利]一種數(shù)據(jù)探查方法、裝置、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111424653.9
• 申請(qǐng)日: 2021-11-26
• 公開(kāi)（公告）號(hào): CN114064779A
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 黃敏
• 申請(qǐng)（專利權(quán)）人: 江蘇云從曦和人工智能有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/23
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李鐵

本發(fā)明公開(kāi)了一種數(shù)據(jù)探查方法，包括：獲取數(shù)據(jù)探查任務(wù)，所述探查任務(wù)用于對(duì)至少一個(gè)數(shù)據(jù)源進(jìn)行探查；所述數(shù)據(jù)探查任務(wù)攜帶有數(shù)據(jù)探查指標(biāo)；通過(guò)ODBC接口接入所述至少一個(gè)數(shù)據(jù)源，并獲取所述數(shù)據(jù)源中的數(shù)據(jù)表；根據(jù)所述數(shù)據(jù)探查指標(biāo)匹配相應(yīng)的數(shù)據(jù)探查規(guī)則；基于所述數(shù)據(jù)探查規(guī)則對(duì)所述數(shù)據(jù)表進(jìn)行至少一次探查，得到探查結(jié)果。本發(fā)明通過(guò)ODBC接口接入數(shù)據(jù)源，解決了傳統(tǒng)數(shù)據(jù)庫(kù)探查需要使用多種不同的工具的問(wèn)題。同時(shí)由于利用ODBC接口接入數(shù)據(jù)源，統(tǒng)一了配置文件的格式，統(tǒng)一的配置文件格式，針對(duì)不同種類的數(shù)據(jù)源，不同版本的數(shù)據(jù)庫(kù)做到統(tǒng)一配置，使用簡(jiǎn)單。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)探查方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)

數(shù)據(jù)源探查系統(tǒng)目標(biāo)是對(duì)于所有數(shù)據(jù)庫(kù)進(jìn)行探查，為后面數(shù)據(jù)治理做鋪墊。完成數(shù)據(jù)庫(kù)的探查有助于初步了解用戶數(shù)據(jù)的統(tǒng)計(jì)分布情況，為后續(xù)的數(shù)據(jù)血緣等分析提供參考。目前較為常見(jiàn)的關(guān)系型數(shù)據(jù)庫(kù)Oracle，MySQL等等版本更新較快，Oracle官方提供的數(shù)據(jù)訪問(wèn)客戶端版本種類較多，在實(shí)際的企業(yè)客戶中，存在著各種版本不同型號(hào)的數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)之間的數(shù)據(jù)由于在不同的存儲(chǔ)引擎當(dāng)中，天然產(chǎn)生了數(shù)據(jù)之間的隔離。

現(xiàn)有的數(shù)據(jù)庫(kù)探查工具的形式基本上是客戶端供用戶使用，需要比較繁瑣的安裝配置，環(huán)境變量的設(shè)置等等

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種數(shù)據(jù)探查方法、裝置、介質(zhì)及設(shè)備，用于解決現(xiàn)有技術(shù)中的至少一個(gè)缺陷。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)探查方法，包括：

獲取數(shù)據(jù)探查任務(wù)，所述探查任務(wù)用于對(duì)至少一個(gè)數(shù)據(jù)源進(jìn)行探查；所述數(shù)據(jù)探查任務(wù)攜帶有數(shù)據(jù)探查指標(biāo)；

通過(guò)ODBC接口接入所述至少一個(gè)數(shù)據(jù)源，并獲取所述數(shù)據(jù)源中的數(shù)據(jù)表；

根據(jù)所述數(shù)據(jù)探查指標(biāo)匹配相應(yīng)的數(shù)據(jù)探查規(guī)則；

基于所述數(shù)據(jù)探查規(guī)則對(duì)所述數(shù)據(jù)表進(jìn)行至少一次探查，得到探查結(jié)果。

可選地，所述基于所述數(shù)據(jù)探查規(guī)則對(duì)所述數(shù)據(jù)表進(jìn)行至少一次探查，包括：

識(shí)別所述數(shù)據(jù)表的類型；

根據(jù)所述數(shù)據(jù)表的類型確定數(shù)據(jù)抽取規(guī)則；

根據(jù)所述數(shù)據(jù)抽取規(guī)則從所述所述至少一個(gè)數(shù)據(jù)源中抽取目標(biāo)數(shù)據(jù)；

利用所述數(shù)據(jù)探查規(guī)則對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行至少一次探查。

可選地，所述根據(jù)所述數(shù)據(jù)探查指標(biāo)匹配相應(yīng)的數(shù)據(jù)探查規(guī)則，包括：

響應(yīng)匹配指令，從預(yù)設(shè)規(guī)則庫(kù)中匹配出與所述數(shù)據(jù)探查指標(biāo)匹配的數(shù)據(jù)探查規(guī)則。

可選地，所述探查指標(biāo)包括以下至少之一：

空值、最大值、最小值、方差、時(shí)間增量。

可選地，若所述數(shù)據(jù)探查任務(wù)包括對(duì)多個(gè)數(shù)據(jù)源進(jìn)行探查，則將所述數(shù)據(jù)探查任務(wù)劃分為多個(gè)子任務(wù)，采用多進(jìn)程多協(xié)程、異步并發(fā)的方式執(zhí)行所述數(shù)據(jù)探查任務(wù)。

可選地，所述方法還包括：

對(duì)所述探查結(jié)果進(jìn)行緩存，并利用LRU cache的緩存淘汰算法對(duì)所述探查結(jié)果進(jìn)行更新。

可選地，所述方法還包括：

生成探查日記，所述探查日志為執(zhí)行所述數(shù)據(jù)探查任務(wù)過(guò)程中產(chǎn)生的日志信息。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)探查裝置，包括：

獲取模塊，用于獲取數(shù)據(jù)探查任務(wù)，所述探查任務(wù)用于對(duì)至少一個(gè)數(shù)據(jù)源進(jìn)行探查；所述數(shù)據(jù)探查任務(wù)攜帶數(shù)據(jù)探查指標(biāo)；