[發明專利]數據導入方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010218639.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111581169A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 陳赟
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/17;G06F16/182;G06F16/25
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 周燕君

本發明公開了一種數據導入方法、裝置、計算機設備及存儲介質。所述方法包括：獲取待導入數據信息；在當前時間達到執行時間時，根據數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，并且從對應的數據表中獲取數據結構信息；根據數據類型對數據結構信息進行封裝，得到配置文件信息；將配置文件發送至開源分布式數據存儲系統集群中，以指示開源分布式數據存儲系統集群根據配置文件從分布式文件系統中提取待導入數據，實現數據的導入。本發明的技術方案能夠支持不同數據格式導入，對于數據攝入過程中出現的數據傾斜問題也實現了自動化處理，避免了手工編寫配置文件而引發的各種錯誤，整個過程大大提高了生產效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據導入方法、裝置、計算機設備及存儲介質。

背景技術

Druid是Java中開源的數據連接池，是一種開源的，分布式的，支持海量數據實時分析的開源分布式數據存儲系統。Druid通常用于商業智能/OLAP(Online AnalyticalProcessing，聯機分析處理)應用程序，以分析大量的實時和歷史數據。旨在幫助企業實現快速處理超大規模的數據，并能夠實現快速查詢和分析。

目前，官方給出的存儲在Druid里的數據的接入方式是：用戶根據外部數據源的數據結構和表結構提前編寫一個相配套的配置文件，這個配置文件在Druid中被稱為Ingestion Spec(數據攝取規范)，在這個配置文件中指定數據攝入時需要的各種相關參數，然后調用Druid提供的接口,讀取并執行編寫好的配置文件，從而實現Druid單個數據資源的單次數據的攝入。

這種實現方式非常不便，編寫配置文件很容易出錯，在面對大量數據導入的情況下，效率很低。

發明內容

本發明實施例提供一種數據導入方法、裝置、計算機設備及存儲介質，以解決編寫配置文件很容易出錯，在面對大量數據導入的情況下，數據導入效率低下的問題。

一種數據導入方法，包括：

獲取待導入數據信息，所述待導入數據信息包括數據源標識和執行時間；

在當前時間達到所述執行時間時，根據所述數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，并且從對應的數據表中獲取數據結構信息，所述數據結構信息包括數據類型和數據信息；

根據所述數據類型對所述數據結構信息進行封裝，得到配置文件信息；

將所述配置文件發送至數據庫連接池集群中，以指示所述數據庫連接池集群根據所述配置文件信息從所述分布式文件系統中提取所述待導入數據，實現數據的導入。

一種數據導入裝置，包括：

信息獲取模塊，用于獲取待導入數據信息，所述待導入數據信息包括數據源標識和執行時間；

數據獲取模塊，用于在當前時間達到所述執行時間時，根據所述數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，并且從對應的數據表中獲取數據結構信息，所述數據結構信息包括數據類型和數據信息；

信息封裝模塊，用于根據所述數據類型對所述數據結構信息進行封裝，得到配置文件信息；

數據導入模塊，用于將所述配置文件發送至數據庫連接池集群中，以指示所述數據庫連接池集群根據所述配置文件信息從所述分布式文件系統中提取所述待導入數據，實現數據的導入。

一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述數據導入方法的步驟。

一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述數據導入方法的步驟。