[發明專利]一種將分布式數據庫數據導入物理數據庫的方法及裝置

在審

• 申請號: 202010680719.X
• 申請日: 2020-07-15
• 公開（公告）號: CN111831717A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 艾長亮
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 翟磊

本發明提供了一種將分布式數據庫數據導入物理數據庫的方法及裝置，所述方法包括：S1：打開配置文件，讀取并解析所述配置文件的內容；S2：根據數據源的信息建立數據源庫的連接同時根據目標源的信息建立目標庫的連接；S3：根據所述配置文件解析數據源的表的列信息并根據所述配置文件解析目標庫的表的列信息；S4：根據數據源的列信息拼接sql語句，并進行sql語句的預解析；S5：執行sql語句并根據所述配置文件的全部或部分提取sql語句結果數據；將所述結果數據存儲到結構體中；S6：將所述結構體重存儲的內容插入目標庫的數據表中。本發明減少現系統中數據導入的繁復操作；同時，數據提取與存儲均在內存中，減少主機磁盤的使用。

技術領域

本發明涉及計算機數據同步與存儲技術領域，尤其是涉及一種將分布式數據庫數據導入物理數據庫的方法及裝置。

背景技術

目前系統中如需要將分布式內存庫數據存儲到物理磁盤的物理庫時，需要先將分布式內存庫中的數據進行導出，在磁盤中形成對應格式的文件，然后再將文件內容信息進行導入物理庫處理。此種操作方式有個弊端：

當所用主機內存足夠大，但物理磁盤受限時，要將內存庫數據與物理庫之間的導出/導入操作將變得非常繁復。即需要將分布式內存庫數據進行數據的切分，多次導出不同的切分塊，并且每次要將本次導出的切分塊導入物理庫后進行清理，才能導出下一個切塊。操作步驟十分繁復。

發明內容

現有技術存在的問題：現有技術將分布式內存庫數據存儲到物理庫時，操作步驟十分繁復，需要提供一種簡便的將分布式內存庫數據存儲到物理庫的方法。

針對現有技術存在的缺陷，第一方面，本發明提供了一種將分布式數據庫數據導入物理數據庫的方法，其特征在于，包括：

S1：打開配置文件，讀取并解析所述配置文件的內容；

S2：根據數據源的信息建立數據源庫的連接同時根據目標源的信息建立目標庫的連接；

S3：根據所述配置文件解析數據源的第一數據表的列信息并根據所述配置文件解析目標庫的第二數據表的列信息；

S4：根據數據源的列信息拼接sql語句，并進行所述sql語句的預解析；

S5：執行所述預解析后的sql語句并根據所述配置文件的全部或部分提取所述sql語句結果數據；將所述結果數據存儲到結構體中；

S6：將所述結構體中存儲的內容插入目標庫的第二數據表中，其中，所述數據源庫為所述分布式數據庫，所述目標庫為所述物理數據庫。

進一步，還包括：

S7：判斷數據源提取的數據與導入目標庫的第二數據表中的數據是否一致，若一致則結束流程，若不一致則返回執行所述S4～S6。

進一步，所述配置文件具體包括：

數據源用戶名與口令信息、目標源用戶名與口令信息；

數據源與目標源的數據表的列或列組合信息。

進一步，所述數據源的信息具體包括：

數據源的用戶名和口令；

所述目標源的信息具體包括：

目標源的用戶名和口令。

第二方面，本發明提供了一種將分布式數據庫數據導入物理數據庫的裝置，其特征在于，包括：

讀取解析模塊，用于打開配置文件，讀取并解析所述配置文件的內容；

連接建立模塊，用于根據數據源的信息建立數據源庫的連接同時根據目標源的信息建立目標庫的連接；