[發(fā)明專利]通用的原始日志清洗裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611183585.0
• 申請(qǐng)日: 2016-12-20
• 公開(kāi)（公告）號(hào): CN106599244A
• 公開(kāi)（公告）日: 2017-04-26
• 發(fā)明（設(shè)計(jì)）人: 張亞軍;田文寶;夏鵬
• 申請(qǐng)（專利權(quán)）人: 飛狐信息技術(shù)（天津）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 天津創(chuàng)智天誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)12214
• 代理人: 周慶路,田陽(yáng)

1.一種通用的原始日志清洗裝置，其特征在于，包括，

變量存儲(chǔ)模塊，用于存儲(chǔ)與每類日志對(duì)應(yīng)的元數(shù)據(jù)，與各元數(shù)據(jù)對(duì)應(yīng)的正則表達(dá)式及匹配的字段；

配置模塊，用于配置多個(gè)清洗任務(wù)、每個(gè)清洗任務(wù)對(duì)應(yīng)的清洗前后日志的存儲(chǔ)路徑、存儲(chǔ)格式及壓縮格式，所述的清洗任務(wù)與元數(shù)據(jù)一一對(duì)應(yīng)；

清洗模塊，根據(jù)日志類型識(shí)別對(duì)應(yīng)的元數(shù)據(jù)，并根據(jù)任務(wù)配置采用mapreduce程序完成清洗邏輯并進(jìn)行預(yù)設(shè)的存儲(chǔ)。

2.如權(quán)利要求1所述的通用的原始日志清洗裝置，其特征在于，所述的配置采用zookeeper進(jìn)行存儲(chǔ)。

3.一種通用的原始日志清洗方法，其特征在于，包括，

建立與每類日志對(duì)應(yīng)的元數(shù)據(jù)，與各元數(shù)據(jù)對(duì)應(yīng)正則表達(dá)式及匹配的字段并存儲(chǔ)；

配置多個(gè)與元數(shù)據(jù)一一對(duì)應(yīng)的清洗任務(wù)及每個(gè)清洗任務(wù)對(duì)應(yīng)的存儲(chǔ)路徑、存儲(chǔ)格式及壓縮格式并存儲(chǔ)；

根據(jù)日志類型識(shí)別對(duì)應(yīng)的元數(shù)據(jù)，并根據(jù)清洗任務(wù)配置采用mapreduce程序完成清洗步驟并進(jìn)行預(yù)設(shè)的存儲(chǔ)。

4.如權(quán)利要求3所述的通用的原始日志清洗方法，其特征在于，所述的配置采用zookeeper進(jìn)行存儲(chǔ)。

5.如權(quán)利要求3所述的通用的原始日志清洗方法，其特征在于，在所述的清洗步驟中mapreduce程序根據(jù)輸入數(shù)據(jù)的大小自動(dòng)判斷reduce的個(gè)數(shù)。

6.如權(quán)利要求3所述的通用的原始日志清洗方法，其特征在于，待清洗數(shù)據(jù)存儲(chǔ)在hdfs目錄中。