[發(fā)明專利]一種基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010660404.9
• 申請(qǐng)日: 2020-07-10
• 公開(kāi)（公告）號(hào): CN111814000A
• 公開(kāi)（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 杜治國(guó);李樹(shù)文;吳敏
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)（上海）有限公司;東軟集團(tuán)股份有限公司
• 主分類號(hào): G06F16/90
• 分類號(hào): G06F16/90
• 代理公司: 上海唯源專利代理有限公司 31229
• 代理人: 曾耀先

1.一種基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法,其特征在于，所述方法包括：

將原始數(shù)據(jù)進(jìn)行解碼編碼，得到解碼編碼數(shù)據(jù)；

將所述解碼編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到清洗數(shù)據(jù)；

將所述清洗數(shù)據(jù)送入數(shù)據(jù)湖，并對(duì)數(shù)據(jù)湖中的清洗數(shù)據(jù)進(jìn)行屬性提取；

將提取的清洗數(shù)據(jù)進(jìn)行類型轉(zhuǎn)換，得到轉(zhuǎn)換數(shù)據(jù)；

對(duì)所述轉(zhuǎn)換數(shù)據(jù)進(jìn)行指標(biāo)計(jì)算，得到目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法，其特征在于，所述方法還包括：

將所述清洗數(shù)據(jù)通過(guò)模板規(guī)范化送入數(shù)據(jù)湖；

通過(guò)模板匹配提取數(shù)據(jù)湖中的清洗數(shù)據(jù)，呈現(xiàn)結(jié)果。

3.根據(jù)權(quán)利要求2所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法，其特征在于，所述將原始數(shù)據(jù)進(jìn)行解碼編碼，得到解碼編碼數(shù)據(jù)，包括：

對(duì)原始數(shù)據(jù)的類型進(jìn)行識(shí)別；

根據(jù)識(shí)別結(jié)果對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的解碼編碼。

4.根據(jù)權(quán)利要求3所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法，其特征在于，所述原始數(shù)據(jù)的類型包括：

文本文字；

圖像、圖片；

視頻流、電視流。

5.根據(jù)權(quán)利要求4所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法，其特征在于，當(dāng)所述原始數(shù)據(jù)的類型為非結(jié)構(gòu)化的圖片，對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的解碼編碼包括：

對(duì)圖片進(jìn)行ocr抽取，將圖片信息轉(zhuǎn)換成文本信息；

對(duì)文本信息進(jìn)行數(shù)據(jù)規(guī)范化過(guò)濾處理；

將過(guò)濾處理后的文本信息進(jìn)行解碼編碼。

6.根據(jù)權(quán)利要求5所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析方法，其特征在于，所述數(shù)據(jù)清洗包括檢查數(shù)據(jù)的一致性、處理無(wú)效值和缺失值。

7.一種基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析系統(tǒng),其特征在于，所述系統(tǒng)包括：

解碼編碼模塊，用于將原始數(shù)據(jù)進(jìn)行解碼編碼，得到解碼編碼數(shù)據(jù)；

數(shù)據(jù)清洗模塊，用于將所述解碼編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到清洗數(shù)據(jù)；

屬性提取模塊，用于將所述清洗數(shù)據(jù)送入數(shù)據(jù)湖，并對(duì)數(shù)據(jù)湖中的清洗數(shù)據(jù)進(jìn)行屬性提取；

類型轉(zhuǎn)換模塊，用于將提取的清洗數(shù)據(jù)進(jìn)行類型轉(zhuǎn)換，得到轉(zhuǎn)換數(shù)據(jù)；

指標(biāo)計(jì)算模塊，用于對(duì)所述轉(zhuǎn)換數(shù)據(jù)進(jìn)行指標(biāo)計(jì)算，得到目標(biāo)數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析系統(tǒng)，其特征在于，所述將原始數(shù)據(jù)進(jìn)行解碼編碼，得到解碼編碼數(shù)據(jù)，包括：

對(duì)原始數(shù)據(jù)的類型進(jìn)行識(shí)別；

根據(jù)識(shí)別結(jié)果對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的解碼編碼。

9.根據(jù)權(quán)利要求8所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析系統(tǒng)，其特征在于，所述原始數(shù)據(jù)的類型包括：

文本文字；

圖像、圖片；

視頻流、電視流。

10.根據(jù)權(quán)利要求9所述的基于模板過(guò)濾的異構(gòu)數(shù)據(jù)分析系統(tǒng)，其特征在于，當(dāng)所述原始數(shù)據(jù)的類型為非結(jié)構(gòu)化的圖片，對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的解碼編碼包括：

對(duì)圖片進(jìn)行ocr抽取，將圖片信息轉(zhuǎn)換成文本信息；

對(duì)文本信息進(jìn)行數(shù)據(jù)規(guī)范化過(guò)濾處理；

將過(guò)濾處理后的文本信息進(jìn)行解碼編碼。