[發明專利]將數據導入數據庫的方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202310257630.6
• 申請日: 2023-03-09
• 公開（公告）號: CN116204575A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 蔣松
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/16;G06F9/48
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張佳

1.一種將數據導入數據庫的方法，其特征在于，所述方法包括：

基于預設的源數據存儲路徑，讀取待導入的目標數據文件；

對所述目標數據文件進行分片處理，并基于獲得的多個分片文件，更新傳輸任務列表；其中，在所述傳輸任務列表中，每個傳輸任務對應一個分片文件；

循環遍歷所述傳輸任務列表，直至所述傳輸任務列表為空為止；其中，在每次遍歷時讀取一個傳輸任務，并分批次將所述傳輸任務對應的目標分片文件導入目標數據庫中，每一個批次的導入過程包括：

根據相應的任務偏移量，定位至所述目標分片文件中的數據讀取位置，并基于所述數據讀取位置讀取的數據，生成本批次的數據庫導入指令；其中，所述任務偏移量用于指示所述目標分片文件中已完成導入的數據；

將生成的數據庫導入指令發送給所述目標數據庫，并更新所述任務偏移量。

2.如權利要求1所述的方法，其特征在于，在所述基于預設的源數據存儲路徑，讀取待導入的目標數據文件之前，所述方法還包括：

響應于數據庫導入操作，獲得本次數據庫導入任務所需的任務運行參數，所述任務運行參數包括數據源信息以及源數據操作信息；

基于所述數據源信息，確定待導入的數據源的數據源類型；

若所述數據源類型為內部數據源，且基于所述源數據操作信息，確定無需針對源數據進行數據庫操作，則將所述內部數據源的存儲路徑更新為源數據存儲路徑；

若所述數據源類型為外部數據源，且基于所述源數據操作信息，確定無需針對源數據進行數據庫操作，則從外部數據源中讀取源數據，并存儲至所述源數據存儲路徑。

3.如權利要求2所述的方法，其特征在于，在所述基于所述數據源信息，確定待導入的數據源的數據源類型之后，所述方法還包括：

若為內部數據源，且基于所述源數據操作信息確定需要針對源數據進行數據庫操作，則從所述內部數據源讀取源數據并執行所述數據庫操作后，將操作后的源數據存儲至所述內部數據源，并將內部數據源的存儲路徑更新為源數據存儲路徑；

若所述數據源類型為外部數據源，且基于所述源數據操作信息，確定無需針對源數據進行數據庫操作，則從外部數據源中讀取源數據并執行所述數據庫操作后，將操作后的源數據存儲至所述源數據存儲路徑。

4.如權利要求2所述的方法，其特征在于，所述源數據存儲路徑指示分布式文件系統的存儲路徑；

則所述從外部數據源中讀取源數據，并存儲至所述源數據存儲路徑，包括：

通過大數據計算引擎，從所述外部數據源中讀取源數據，并存儲至所述分布式文件系統中。

5.如權利要求1所述的方法，其特征在于，所述對所述目標數據文件進行分片處理，包括：

若指定了分片處理所需的基準字段，則基于所述目標數據文件中所述基準字段的取值，確定分片參考值；

若未指定分片處理所需的基準字段，則基于所述目標數據文件中的主鍵的取值，確定所述分片參考值；

基于所述分片參考值，以及指定的分片數量，確定所述目標數據文件進行分片處理時的分片劃分點；

基于所述分片劃分點，對所述目標數據文件進行分片處理，相應獲得多個分片文件。

6.如權利要求1～5任一所述的方法，其特征在于，在每次遍歷時讀取一個傳輸任務，并分批次將所述傳輸任務對應的目標分片文件導入目標數據庫中，包括：

在每次遍歷時讀取一個傳輸任務，并將所述傳輸任務添加至任務執行池中；

通過多個并行傳輸線程中空閑的目標進程，從所述任務執行池讀取待執行的傳輸任務，并分批次將所述傳輸任務對應的目標分片文件導入目標數據庫中。