[發明專利]一種基于Flume的關系數據庫存儲數據的方法和裝置

在審

• 申請號: 201711292038.0
• 申請日: 2017-12-08
• 公開（公告）號: CN108038182A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 陳娟妮;胡清
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種基于Flume的關系數據庫存儲數據的方法，其特征在于，包括：

預先設置可變配置項、與關系數據庫類型相對應的關系數據庫驅動；

根據所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動；

根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接；

還包括：

從Flume獲取待存儲數據；

根據所述數據庫連接和所述可變配置項，將所述待存儲數據存儲至目標關系數據庫。

2.根據權利要求1所述的基于Flume的關系數據庫存儲數據的方法，其特征在于，

所述可變配置項，包括：所述目標關系數據庫的驅動類；

所述根據所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動，包括：

根據所述目標關系數據庫的驅動類，確定目標關系數據庫類型；

根據與關系數據庫類型相對應的關系數據庫驅動，確定所述目標關系數據庫類型對應的目標關系數據庫驅動。

3.根據權利要求1所述的基于Flume的關系數據庫存儲數據的方法，其特征在于，

所述可變配置項，包括：數據庫地址、用戶名和用戶密碼；

所述根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接，包括：

根據所述目標關系數據庫驅動、所述數據庫地址、所述用戶名和所述用戶密碼，創建數據庫連接。

4.根據權利要求1-3中任一所述的基于Flume的關系數據庫存儲數據的方法，其特征在于，

所述可變配置項，包括：單次批量、分隔符、字段列表、數據庫表；

所述根據所述數據庫連接和所述可變配置項，將所述待存儲數據存儲至目標關系數據庫，包括：

根據所述單次批量，對所述待存儲數據進行分批處理，生成至少一批第一待存儲數據，其中，每一批所述第一待存儲數據中包括至少一條數據；

針對每一批所述第一待存儲數據，均執行：

根據所述分隔符，對當前第一待存儲數據中的每一條所述數據進行分割處理，生成與各條所述數據對應的至少一個數據項；

根據所述字段列表、所述數據庫表，將各個所述數據項拼接為數據庫表達式；

利用所述數據庫連接，將所述數據庫表達式提交至目標關系數據庫。

5.一種基于Flume的關系數據庫存儲數據的裝置，其特征在于，包括：

設置單元，用于設置可變配置項、與關系數據庫類型相對應的關系數據庫驅動；

創建單元，用于根據所述設置單元設置的所述可變配置項和與關系數據庫類型相對應的關系數據庫驅動，確定目標關系數據庫驅動；根據所述目標關系數據庫驅動和所述可變配置項，創建數據庫連接；

獲取單元，用于從Flume獲取待存儲數據；

存儲單元，用于根據所述創建單元創建的所述數據庫連接和所述可變配置項，將所述獲取單元獲取的所述待存儲數據存儲至目標關系數據庫。

6.根據權利要求5所述的基于Flume的關系數據庫存儲數據的裝置，其特征在于，

所述可變配置項，包括：所述目標關系數據庫的驅動類；

所述創建單元，用于根據所述目標關系數據庫的驅動類，確定目標關系數據庫類型；根據與關系數據庫類型相對應的關系數據庫驅動，確定所述目標關系數據庫類型對應的目標關系數據庫驅動。

7.根據權利要求5所述的基于Flume的關系數據庫存儲數據的裝置，其特征在于，

所述可變配置項，包括：數據庫地址、用戶名和用戶密碼；

所述創建單元，用于根據所述目標關系數據庫驅動、所述數據庫地址、所述用戶名和所述用戶密碼，創建數據庫連接。