[發(fā)明專利]基于ETL的輕量化自定義源數(shù)據(jù)分解讀取系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811345080.9
• 申請(qǐng)日: 2018-11-13
• 公開(kāi)（公告）號(hào): CN109635023B
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 顏文德;徐明;葉祖鋒;王華松
• 申請(qǐng)（專利權(quán)）人: 廣州歐賽斯信息科技有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/215;G06F16/28;G06F16/2458
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

1.一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取系統(tǒng)，其特征在于：包括：

源數(shù)據(jù)庫(kù)，用于存儲(chǔ)原始數(shù)據(jù)；

第一至第N自定義ETL工具，用于對(duì)源數(shù)據(jù)庫(kù)中的第一至第N自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗和統(tǒng)計(jì)，然后將經(jīng)過(guò)清洗的數(shù)據(jù)和統(tǒng)計(jì)結(jié)果存入數(shù)據(jù)倉(cāng)庫(kù)；N大于等于2；

數(shù)據(jù)倉(cāng)庫(kù)，用于存儲(chǔ)經(jīng)過(guò)數(shù)據(jù)清洗的數(shù)據(jù)和統(tǒng)計(jì)結(jié)果，以及為數(shù)據(jù)分析系統(tǒng)提供經(jīng)過(guò)清洗的數(shù)據(jù)和/或統(tǒng)計(jì)結(jié)果；

所述原始數(shù)據(jù)包括系統(tǒng)自動(dòng)采集的表格數(shù)據(jù)和人工輸入的數(shù)據(jù)；

所述數(shù)據(jù)倉(cāng)庫(kù)包括數(shù)據(jù)型的數(shù)據(jù)倉(cāng)庫(kù)和統(tǒng)計(jì)型的數(shù)據(jù)倉(cāng)庫(kù)；所述數(shù)據(jù)型的數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)經(jīng)過(guò)清洗的數(shù)據(jù)，所述統(tǒng)計(jì)型的數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取系統(tǒng)，其特征在于：所述對(duì)源數(shù)據(jù)庫(kù)中的第一至第N自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗和統(tǒng)計(jì)，其具體包括：

第X自定義ETL工具在源數(shù)據(jù)庫(kù)中抽取第X自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)；其中，X∈[1，N]；

第X自定義ETL工具根據(jù)其設(shè)定處理規(guī)則，對(duì)抽取出來(lái)的第X自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和統(tǒng)計(jì)。

3.一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取方法，其特征在于：包括以下步驟：

獲取原始數(shù)據(jù)，將原始數(shù)據(jù)存入源數(shù)據(jù)庫(kù)中；

調(diào)用第一至第N自定義ETL工具對(duì)源數(shù)據(jù)庫(kù)中的第一至第N自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗和統(tǒng)計(jì)；

將經(jīng)過(guò)數(shù)據(jù)清洗的數(shù)據(jù)和統(tǒng)計(jì)結(jié)果存儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)；

所述原始數(shù)據(jù)包括系統(tǒng)自動(dòng)采集的表格數(shù)據(jù)和人工輸入的數(shù)據(jù)；

所述數(shù)據(jù)倉(cāng)庫(kù)包括數(shù)據(jù)型的數(shù)據(jù)倉(cāng)庫(kù)和統(tǒng)計(jì)型的數(shù)據(jù)倉(cāng)庫(kù)；所述數(shù)據(jù)型的數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)經(jīng)過(guò)清洗的數(shù)據(jù)，所述統(tǒng)計(jì)型的數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。

4.根據(jù)權(quán)利要求3所述的一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取方法，其特征在于：還包括以下步驟：

獲取數(shù)據(jù)分析系統(tǒng)的請(qǐng)求；

根據(jù)數(shù)據(jù)分析系統(tǒng)的請(qǐng)求，提供經(jīng)過(guò)數(shù)據(jù)清洗的數(shù)據(jù)和統(tǒng)計(jì)結(jié)果。

5.根據(jù)權(quán)利要求3所述的一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取方法，其特征在于：所述對(duì)源數(shù)據(jù)庫(kù)中的第一至第N自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗和統(tǒng)計(jì)，其具體包括：

第X自定義ETL工具在源數(shù)據(jù)庫(kù)中抽取第X自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)；其中，X∈[1，N]；

第X自定義ETL工具根據(jù)其設(shè)定處理規(guī)則，對(duì)抽取出來(lái)的第X自定義內(nèi)容對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和統(tǒng)計(jì)。

6.一種基于ETL的輕量化自定義源數(shù)據(jù)分解讀取系統(tǒng)，其特征在于：包括：

存儲(chǔ)器，用于存儲(chǔ)程序；

處理器，用于加載所述程序以執(zhí)行如權(quán)利要求3-5任一項(xiàng)所述的輕量化自定義ETL的數(shù)據(jù)處理方法。