[發(fā)明專利]一種數(shù)據(jù)血緣關(guān)系的生成方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011265442.0
• 申請(qǐng)日: 2020-11-13
• 公開（公告）號(hào): CN112463978B
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 王新義;景鴻態(tài)
• 申請(qǐng)（專利權(quán)）人: 上海逸迅信息科技有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/35;G06F16/383;G06K9/62;G06F8/41;G06F8/53
• 代理公司: 北京睿博行遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 11297
• 代理人: 龔家驊

1.一種數(shù)據(jù)血緣關(guān)系的生成方法，其特征在于，所述方法包括：

根據(jù)待分析數(shù)據(jù)庫中所有表的元數(shù)據(jù)信息獲取文本列數(shù)據(jù)和數(shù)值列數(shù)據(jù)；

根據(jù)所述文本列數(shù)據(jù)獲取文本數(shù)據(jù)指紋，所述文本數(shù)據(jù)指紋是與所述文本列數(shù)據(jù)對(duì)應(yīng)的唯一的定長數(shù)字片段；

根據(jù)所述數(shù)值列數(shù)據(jù)獲取數(shù)值數(shù)據(jù)指紋，所述數(shù)值數(shù)據(jù)指紋是與所述數(shù)值列數(shù)據(jù)對(duì)應(yīng)的唯一的定長數(shù)字片段；

根據(jù)所述文本數(shù)據(jù)指紋和所述數(shù)值數(shù)據(jù)指紋生成所述待分析數(shù)據(jù)庫的數(shù)據(jù)血緣關(guān)系；

根據(jù)各待處理文本數(shù)據(jù)指紋的余弦相似度和各待處理數(shù)值數(shù)據(jù)指紋的閔式距離生成所述數(shù)據(jù)血緣關(guān)系，具體為：

根據(jù)各所述待處理文本數(shù)據(jù)指紋的余弦相似度進(jìn)行層次聚類，并基于預(yù)設(shè)相似度閾值確定各層的文本指紋血緣關(guān)系；

根據(jù)各所述待處理數(shù)值數(shù)據(jù)指紋的閔式距離進(jìn)行層次聚類，并基于預(yù)設(shè)距離閾值確定各層的數(shù)值指紋血緣關(guān)系；

根據(jù)所述文本指紋血緣關(guān)系和所述數(shù)值指紋血緣關(guān)系生成所述數(shù)據(jù)血緣關(guān)系。

2.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述文本數(shù)據(jù)指紋和所述數(shù)值數(shù)據(jù)指紋生成所述待分析數(shù)據(jù)庫的數(shù)據(jù)血緣關(guān)系，具體為：

根據(jù)所述文本數(shù)據(jù)指紋確定不同表之間列與列的待處理文本數(shù)據(jù)指紋；

根據(jù)所述數(shù)值數(shù)據(jù)指紋確定不同表之間列與列的待處理數(shù)值數(shù)據(jù)指紋。

3.如權(quán)利要求1所述的方法，其特征在于，在根據(jù)待分析數(shù)據(jù)庫中所有表的元數(shù)據(jù)信息獲取文本列數(shù)據(jù)和數(shù)值列數(shù)據(jù)之前，所述方法還包括：

獲取各所述表中的總記錄數(shù)和最小時(shí)間。

4.如權(quán)利要求3所述的方法，其特征在于，根據(jù)所述文本指紋血緣關(guān)系和所述數(shù)值指紋血緣關(guān)系生成所述數(shù)據(jù)血緣關(guān)系，具體為：

比較所述文本指紋血緣關(guān)系和所述數(shù)值指紋血緣關(guān)系，并將相同的文本指紋血緣關(guān)系和數(shù)值指紋血緣關(guān)系進(jìn)行歸一化處理后確定前期血緣關(guān)系；

根據(jù)所述前期血緣關(guān)系從各所述總記錄數(shù)中確定目標(biāo)總記錄數(shù)，并從各所述最小時(shí)間中確定目標(biāo)最小時(shí)間；

根據(jù)所述目標(biāo)總記錄數(shù)或所述目標(biāo)最小時(shí)間確定所述前期血緣關(guān)系的方向后生成所述數(shù)據(jù)血緣關(guān)系。

5.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述文本列數(shù)據(jù)獲取文本數(shù)據(jù)指紋，具體為：

基于對(duì)所述文本列數(shù)據(jù)進(jìn)行去重處理獲取目標(biāo)文本列數(shù)據(jù)；

根據(jù)摘要算法對(duì)所述目標(biāo)文本列數(shù)據(jù)進(jìn)行計(jì)算后獲取所述文本數(shù)據(jù)指紋。

6.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述數(shù)值列數(shù)據(jù)獲取數(shù)值數(shù)據(jù)指紋，具體為：

確定所述數(shù)值列數(shù)據(jù)的特征值，所述特征值包括均值，最小值、最大值、第一四分位數(shù)、中位數(shù)、第三四分位數(shù)、方差，標(biāo)準(zhǔn)差、百分位數(shù)；

根據(jù)摘要算法對(duì)所述特征值進(jìn)行計(jì)算后獲取所述數(shù)值數(shù)據(jù)指紋。

7.如權(quán)利要求5所述的方法，其特征在于，在基于對(duì)所述文本列數(shù)據(jù)進(jìn)行去重處理獲取目標(biāo)文本列數(shù)據(jù)之前，還包括：

去除所述文本列數(shù)據(jù)中的異常值，所述異常值包括長文本、和或0、和或1。

8.如權(quán)利要求6所述的方法，其特征在于，在確定所述數(shù)值列數(shù)據(jù)的特征值之前，還包括：

去除所述數(shù)值列數(shù)據(jù)中的無效值，所述無效值包括空值、和或0、和或1；

若在去除當(dāng)前數(shù)值列數(shù)據(jù)中所述無效值后，所述當(dāng)前數(shù)值列數(shù)據(jù)不存在，放棄處理所述當(dāng)前數(shù)值列數(shù)據(jù)。

9.一種數(shù)據(jù)血緣關(guān)系的生成設(shè)備，其特征在于，所述設(shè)備包括：

第一獲取模塊，用于根據(jù)待分析數(shù)據(jù)庫中所有表的元數(shù)據(jù)信息獲取文本列數(shù)據(jù)和數(shù)值列數(shù)據(jù)；

第二獲取模塊，用于根據(jù)所 述文本列數(shù)據(jù)獲取文本數(shù)據(jù)指紋，所述文本數(shù)據(jù)指紋是與所述文本列數(shù)據(jù)對(duì)應(yīng)的唯一的定長數(shù)字片段；

第三獲取模塊，用于根據(jù)所述數(shù)值列數(shù)據(jù)獲取數(shù)值數(shù)據(jù)指紋，所述數(shù)值數(shù)據(jù)指紋是與所述數(shù)值列數(shù)據(jù)對(duì)應(yīng)的唯一的定長數(shù)字片段；

生成模塊，用于根據(jù)所述文本數(shù)據(jù)指紋和所述數(shù)值數(shù)據(jù)指紋生成所述待分析數(shù)據(jù)庫的數(shù)據(jù)血緣關(guān)系；

根據(jù)各待處理文本數(shù)據(jù)指紋的余弦相似度和各待處理數(shù)值數(shù)據(jù)指紋的閔式距離生成所述數(shù)據(jù)血緣關(guān)系，具體為：

根據(jù)各所述待處理文本數(shù)據(jù)指紋的余弦相似度進(jìn)行層次聚類，并基于預(yù)設(shè)相似度閾值確定各層的文本指紋血緣關(guān)系；

根據(jù)各所述待處理數(shù)值數(shù)據(jù)指紋的閔式距離進(jìn)行層次聚類，并基于預(yù)設(shè)距離閾值確定各層的數(shù)值指紋血緣關(guān)系；

根據(jù)所述文本指紋血緣關(guān)系和所述數(shù)值指紋血緣關(guān)系生成所述數(shù)據(jù)血緣關(guān)系。