[發(fā)明專利]一種基于Flume的將數(shù)據(jù)存儲(chǔ)為文件的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810495515.1
• 申請(qǐng)日: 2018-05-22
• 公開（公告）號(hào): CN108710694A
• 公開（公告）日: 2018-10-26
• 發(fā)明（設(shè)計(jì)）人: 陳娟妮;胡清;肖雪;王建華
• 申請(qǐng)（專利權(quán)）人: 浪潮軟件集團(tuán)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

1.一種基于Flume的將數(shù)據(jù)存儲(chǔ)為文件的方法，其特征在于，

預(yù)先設(shè)置清洗接口；

接收針對(duì)所述清洗接口的自定義配置信息；

根據(jù)針對(duì)所述清洗接口的自定義配置信息，生成自定義的清洗接口和數(shù)據(jù)清洗類，其中，所述數(shù)據(jù)清洗類為所述清洗接口的實(shí)現(xiàn)類；

包括：

利用Flume中的configure()方法獲取目標(biāo)文件名稱和所述數(shù)據(jù)清洗類；

利用Flume中的configure()方法實(shí)例化所述數(shù)據(jù)清洗類；

利用Flume中的process()方法調(diào)用自定義的清洗接口和實(shí)例化后的所述數(shù)據(jù)清洗類對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗，獲取清洗后的數(shù)據(jù)，將清洗后的數(shù)據(jù)存儲(chǔ)到所述目標(biāo)文件名稱對(duì)應(yīng)的文件中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述清洗接口中包括：清洗方法；

所述自定義配置信息中包括：清洗規(guī)則；

所述利用Flume中的process()方法調(diào)用自定義的清洗接口和實(shí)例化后的所述數(shù)據(jù)清洗類對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗，包括：

利用Flume中的process()方法調(diào)用所述數(shù)據(jù)清洗類中的所述清洗方法按照所述清洗規(guī)則對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述清洗接口中進(jìn)一步包括：初始化方法；

所述自定義配置信息中進(jìn)一步包括：解析規(guī)則；

進(jìn)一步包括：

利用Flume中的configure()方法調(diào)用所述初始化方法實(shí)現(xiàn)所述解析規(guī)則；

在所述利用Flume中的process()方法調(diào)用所述數(shù)據(jù)清洗類中的所述清洗方法按照所述清洗規(guī)則對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗之前，進(jìn)一步包括：

利用Flume中的process()方法調(diào)用所述數(shù)據(jù)清洗類中的所述清洗方法按照所述初始化方法實(shí)現(xiàn)的所述解析規(guī)則對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行解析。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

進(jìn)一步包括：

利用Flume中的configure()方法獲取所述待存儲(chǔ)數(shù)據(jù)的原始存儲(chǔ)路徑；

在所述利用Flume中的process()方法調(diào)用自定義的清洗接口和實(shí)例化后的所述數(shù)據(jù)清洗類對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗之前，進(jìn)一步包括：

利用Flume從所述原始存儲(chǔ)路徑中獲取所述待存儲(chǔ)數(shù)據(jù)。

5.根據(jù)權(quán)利要求1-4中任一所述的方法，其特征在于，

進(jìn)一步包括：

利用Flume中的start()方法設(shè)置所述目標(biāo)文件名稱對(duì)應(yīng)的文件的目標(biāo)存儲(chǔ)路徑；

在所述將清洗后的數(shù)據(jù)存儲(chǔ)到所述目標(biāo)文件名稱對(duì)應(yīng)的文件中之后，進(jìn)一步包括：

將所述目標(biāo)文件名稱對(duì)應(yīng)的文件存儲(chǔ)到所述目標(biāo)存儲(chǔ)路徑中。

6.一種基于Flume的將數(shù)據(jù)存儲(chǔ)為文件的裝置，其特征在于，包括：

配置單元，用于設(shè)置清洗接口，接收針對(duì)所述清洗接口的自定義配置信息，根據(jù)針對(duì)所述清洗接口的自定義配置信息，生成自定義的清洗接口和數(shù)據(jù)清洗類，其中，所述數(shù)據(jù)清洗類為所述清洗接口的實(shí)現(xiàn)類；

清洗存儲(chǔ)單元，用于利用Flume中的configure()方法獲取目標(biāo)文件名稱和所述數(shù)據(jù)清洗類，利用Flume中的configure()方法實(shí)例化所述數(shù)據(jù)清洗類，利用Flume中的process()方法調(diào)用自定義的清洗接口和實(shí)例化后的所述數(shù)據(jù)清洗類對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗，獲取清洗后的數(shù)據(jù)，將清洗后的數(shù)據(jù)存儲(chǔ)到所述目標(biāo)文件名稱對(duì)應(yīng)的文件中。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，

所述清洗接口中包括：清洗方法；

所述自定義配置信息中包括：清洗規(guī)則；

所述清洗存儲(chǔ)單元，在執(zhí)行所述利用Flume中的process()方法調(diào)用自定義的清洗接口和實(shí)例化后的所述數(shù)據(jù)清洗類對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗時(shí)，具體用于：利用Flume中的process()方法調(diào)用所述數(shù)據(jù)清洗類中的所述清洗方法按照所述清洗規(guī)則對(duì)所述待存儲(chǔ)數(shù)據(jù)進(jìn)行清洗。