[發明專利]一種基于Flume的關系數據庫存儲數據的方法和裝置

在審

• 申請號: 201711292038.0
• 申請日: 2017-12-08
• 公開（公告）號: CN108038182A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 陳娟妮;胡清
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

本發明提供了一種基于Flume的關系數據庫存儲數據的方法，包括：預先設置可變配置項、與關系數據庫類型相對應的關系數據庫驅動；根據所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動；根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接；還包括：從Flume獲取待存儲數據；根據所述數據庫連接和所述可變配置項，將所述待存儲數據存儲至目標關系數據庫。本發明提供的方案能夠將Flume采集的數據存儲至關系數據庫。

技術領域

本發明涉及計算機技術領域，特別涉及一種基于Flume的關系數據庫存儲數據的方法和裝置。

背景技術

Flume可以提供文件數據、日志數據等的采集、聚合和寫入Kafka、HDFS、Hive等的功能。

現有技術中，可使用Flume已提供的文件數據、日志數據的采集能力采集數據并存儲，但無法將Flume采集的數據存儲至關系數據庫。

發明內容

本發明實施例提供了一種基于Flume的關系數據庫存儲數據的方法和裝置，能夠將Flume采集的數據存儲至關系數據庫。

第一方面，本發明實施例提供了一種基于Flume的關系數據庫存儲數據的方法，包括：

預先設置可變配置項、與關系數據庫類型相對應的關系數據庫驅動；

根據所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動；

根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接；

還包括：

從Flume獲取待存儲數據；

根據所述數據庫連接和所述可變配置項，將所述待存儲數據存儲至目標關系數據庫。

優選地，

所述可變配置項，包括：所述目標關系數據庫的驅動類；

所述根據所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動，包括：

根據所述目標關系數據庫的驅動類，確定目標關系數據庫類型；

根據與關系數據庫類型相對應的關系數據庫驅動，確定所述目標關系數據庫類型對應的目標關系數據庫驅動。

優選地，

所述可變配置項，包括：數據庫地址、用戶名和用戶密碼；

所述根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接，包括：

根據所述目標關系數據庫驅動、所述數據庫地址、所述用戶名和所述用戶密碼，創建數據庫連接。

優選地，

所述可變配置項，包括：單次批量、分隔符、字段列表、數據庫表；

所述根據所述數據庫連接和所述可變配置項，將所述待存儲數據存儲至目標關系數據庫，包括：

根據所述單次批量，對所述待存儲數據進行分批處理，生成至少一批第一待存儲數據，其中，每一批所述第一待存儲數據中包括至少一條數據；

針對每一批所述第一待存儲數據，均執行：

根據所述分隔符，對當前第一待存儲數據中的每一條所述數據進行分割處理，生成與各條所述數據對應的至少一個數據項；

根據所述字段列表、所述數據庫表，將各個所述數據項拼接為數據庫表達式；

利用所述數據庫連接，將所述數據庫表達式提交至目標關系數據庫。