[發明專利]一種數據導入方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011547190.0
• 申請日: 2020-12-24
• 公開（公告）號: CN112612811A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 李金棟;苗冬霜;田浩;賀占功;于際超;王宇
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/25;G06F16/28;H04L29/06;H04L29/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 孫小明

本發明公開了一種數據導入方法、裝置、電子設備及存儲介質，所述方法包括：根據獲取到的服務器的登錄地址信息、用戶名和密碼，登錄所述服務器；根據待導入數據在所述服務器中的存儲路徑信息，基于文件傳輸協議FTP從所述服務器中下載所述待導入數據；根據待導入數據在數據庫中的目標路徑信息，將所述待導入數據導入至所述數據庫。本發明實施例中基于文件傳輸協議FTP的數據導入方法相較于現有的基于SQL命令行進行數據導入的方法，降低了在導入數據過程中占用的設備運行內存，設備運行速度快，即使在導入大量數據時，也能保證數據快速導入，解決了現有技術中數據導入效率較低的問題。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據導入方法、裝置、電子設備及存儲介質。

背景技術

很多公司的服務器中每天會新增很多的數據，為了便于對數據進行管理，需要將服務器中的數據導入到數據庫中，通過數據庫管理系統實現對數據的管理，例如讀取數據、分析數據等。

現有技術在將服務器中的數據導入到數據庫中時，一般是基于SQL命令行進行數據導入的?；诿钌善鳟a生SQL命令集，然后將SQL命令集保存在一個腳本文件中，使用命令執行模塊運行腳本文件，實現將數據導入到數據庫中。現有技術基于SQL命令行進行數據導入的方案，在進行數據導入時占用設備的運行內存較大，設備運行速度慢，數據導入的效率較低。

發明內容

本發明實施例提供了一種數據導入方法、裝置、電子設備及存儲介質，用以解決現有的數據導入效率較低的問題。

本發明實施例提供了一種數據導入方法，所述方法包括：

根據獲取到的服務器的登錄地址信息、用戶名和密碼，登錄所述服務器；

根據待導入數據在所述服務器中的存儲路徑信息，基于文件傳輸協議FTP從所述服務器中下載所述待導入數據；

根據待導入數據在數據庫中的目標路徑信息，將所述待導入數據導入至所述數據庫。

進一步地，所述根據待導入數據在所述服務器中的存儲路徑信息，基于文件傳輸協議FTP從所述服務器中下載所述待導入數據包括：

根據所述待導入數據的修改時間信息，將所述待導入數據劃分至預設數量的分組中，根據待導入數據在所述服務器中的存儲路徑信息，基于文件傳輸協議FTP從所述服務器中依次下載每個分組內的待導入數據。

進一步地，所述基于文件傳輸協議FTP從所述服務器中依次下載每個分組內的待導入數據包括：

根據預設的時間間隔，確定每個下載數據的時間點以及每個時間點與數據修改時間信息的對應關系；

當到達下載數據的時間點時，根據每個時間點與數據修改時間信息的對應關系確定該時間點對應的分組，基于文件傳輸協議FTP從所述服務器中下載與該時間點對應的分組內的待導入數據。

進一步地，所述根據待導入數據在數據庫中的目標路徑信息，將所述待導入數據導入至所述數據庫包括：

根據待導入數據在數據庫中的目標路徑信息，通過執行CTL文件控制所述待導入數據導入至所述數據庫。

進一步地，所述從所述服務器中下載所述待導入數據之后，根據待導入數據在數據庫中的目標路徑信息，通過執行CTL文件控制所述待導入數據導入至所述數據庫之前，所述方法還包括：

判斷下載的所述待導入數據的格式是否與所述CTL文件中配置的文件格式一致，如果是，根據待導入數據在數據庫中的目標路徑信息，通過執行CTL文件控制所述待導入數據導入至所述數據庫，如果否，根據所述CTL文件中配置的文件格式對所述下載的待導入數據的格式進行轉換，根據待導入數據在數據庫中的目標路徑信息，通過執行CTL文件控制格式轉換后的待導入數據導入至所述數據庫。