[發明專利]數據導入方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010218639.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111581169A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 陳赟
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/17;G06F16/182;G06F16/25
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 周燕君

1.一種數據導入方法，其特征在于，所述數據導入方法包括：

獲取待導入數據信息，所述待導入數據信息包括數據源標識和執行時間；

在當前時間到達所述執行時間時，根據所述數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，并且從所述對應的數據表中獲取數據結構信息，所述數據結構信息包括數據類型；

根據所述數據類型對所述數據結構信息進行封裝，得到配置文件信息；

將所述配置文件信息發送至數據庫連接池集群中，以指示所述數據庫連接池集群根據所述配置文件信息從所述分布式文件系統中提取所述待導入數據，實現數據的導入。

2.如權利要求1所述的數據導入方法，其特征在于，所述將所述配置文件信息發送至數據庫連接池集群中之后，所述數據導入方法還包括：

按照預設的時間間隔從所述數據庫連接池集群中獲取任務執行狀態；

若所述任務執行狀態為異常狀態，則從所述數據庫連接池集群中獲取任務執行日志，以進行異常排查。

3.如權利要求1所述的數據導入方法，其特征在于，所述待導入數據信息還包括數據拆分信息，所述根據所述數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，包括：

根據所述數據源標識從數據表中獲取待導入數據；

若所述數據拆分信息為第一指示信息，則從所述待導入數據中獲取待拆分字段，所述第一指示信息指示所述待導入數據需要拆分處理；

根據預設的數據容量確定所述待導入數據的拆分數量；

根據所述拆分數量設置隨機函數，通過所述隨機函數產生的隨機值對所述待導入數據中所述待拆分字段的值進行更新；

按照更新后的所述待拆分字段對所述待導入數據進行拆分，得到多個拆分后的待導入數據；

將所述多個拆分后的待導入數據存儲至所述分布式文件系統中。

4.如權利要求1所述的數據導入方法，其特征在于，所述根據所述數據類型對所述數據結構信息進行封裝，得到配置文件信息，包括：

通過所述數據類型獲取對應的封裝策略；

根據所述封裝策略將所述數據結構信息封裝成面向對象語言對象；

將所述面向對象語言對象轉換成數據交換格式，得到配置文件。

5.如權利要求1所述的數據導入方法，其特征在于，所述將所述配置文件信息發送至數據庫連接池集群中，以指示所述數據庫連接池集群根據所述配置文件從所述分布式文件系統中提取所述待導入數據，實現數據的導入，包括：

調用所述數據庫連接池集群中的數據攝入接口；

向所述數據庫連接池集群中的任務管理節點發送數據請求，并得到任務管理節點響應；

根據所述配置文件信息，指示所述數據庫連接池集群從所述分布式文件文件系統中提取待導入數據，并將所述待導入數據保存在所述數據庫連接池集群的分布式文件文件系統中。

6.一種數據導入裝置，其特征在于，所述數據導入裝置包括：

信息獲取模塊，用于獲取待導入數據信息，所述待導入數據信息包括數據源標識和執行時間；

數據獲取模塊，用于在當前時間到達所述執行時間時，根據所述數據源標識從對應的數據表中獲取待導入數據，保存在分布式文件系統中，并且從所述對應的數據表中獲取數據結構信息，所述數據結構信息包括數據類型；

信息封裝模塊，用于根據所述數據類型對所述數據結構信息進行封裝，得到配置文件信息；

數據導入模塊，用于將所述配置文件信息發送至數據庫連接池集群中，以指示所述數據庫連接池集群根據所述配置文件信息從所述分布式文件系統中提取所述待導入數據，實現數據的導入。

7.如權利要求6所述的數據導入裝置，其特征在于，在所述數據導入模塊之后，所述數據導入裝置還包括：

狀態獲取模塊，用于按照預設的時間間隔從所述數據庫連接池集群中獲取任務執行狀態；

異常排查模塊，用于在所述任務執行狀態為異常狀態時，從所述數據庫連接池集群中獲取任務執行日志，以進行異常排查。