[發明專利]將數據導入數據庫的方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202310257630.6
• 申請日: 2023-03-09
• 公開（公告）號: CN116204575A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 蔣松
• 申請（專利權）人: 中國建設銀行股份有限公司;建信金融科技有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/16;G06F9/48
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張佳

本申請公開了一種將數據導入數據庫的方法、裝置、設備及計算機存儲介質，涉及數據庫技術領域，該方法通過對待傳輸的目標數據文件進行分片處理，將每個分片文件作為一個傳輸任務，提升數據傳輸的并行程度，且在執行傳輸任務時，需要根據該任務的任務偏移量，定位至目標分片文件中的數據讀取位置，并基于數據讀取位置讀取的數據，生成本批次的數據庫導入指令，以將生成的數據庫導入指令發送給目標數據庫實現這些數據的導入，同時，更新任務偏移量以便后續能夠知曉哪些數據已經傳輸，從而定位到后續的數據讀取位置，從而實現了數據的斷點重傳功能，從而避免任務失敗時就需要刪除數據重新執行傳輸，提升了數據導入的效率。

技術領域

本申請涉及計算機技術領域，尤其涉及數據庫技術領域，提供一種將數據導入數據庫的方法、裝置、設備及計算機存儲介質。

背景技術

隨著大數據技術的普及，越來越多的企業引入大數據技術棧，并使用大數據技術對海量數據進行處理與挖掘，然后把計算結果傳輸給下游系統進行使用。

相關技術中，將計算結果提供給下游系統主要通過兩種方式，一種方式是在獲得計算結果數據后，將計算結果數據卸載到本地，并通過文件傳輸工具分發到下游系統，從而下游系統通過數據加載工具加載到數據庫中，但是，這種方式導入到數據庫的過程流程長，不僅容易出錯并且時延較高。另一種方式是通過大數據技術棧直接寫入到下游數據庫，但是這種方式在寫入下游系統的數據庫的過程中，在中途失敗時，為了數據的完整性，就必須先刪除所有數據，再重頭進行導入，這樣會浪費大量時間，使得導入效率極低。

發明內容

本申請實施例提供一種將數據導入數據庫的方法、裝置、設備及計算機存儲介質，用于實現數據導入數據庫時的斷點重傳功能，提升數據導入的效率。

一方面，提供一種將數據導入數據庫的方法，該方法包括：

基于預設的源數據存儲路徑，讀取待導入的目標數據文件；

對所述目標數據文件進行分片處理，并基于獲得的多個分片文件，更新傳輸任務列表；其中，在所述傳輸任務列表中，每個傳輸任務對應一個分片文件；

循環遍歷所述傳輸任務列表，直至所述傳輸任務列表為空為止；其中，在每次遍歷時讀取一個傳輸任務，并分批次將所述傳輸任務對應的目標分片文件導入目標數據庫中，每一個批次的導入過程包括：

根據相應的任務偏移量，定位至所述目標分片文件中的數據讀取位置，并基于所述數據讀取位置讀取的數據，生成本批次的數據庫導入指令；其中，所述任務偏移量用于指示所述目標分片文件中已完成導入的數據；

將生成的數據庫導入指令發送給所述目標數據庫，并更新所述任務偏移量。

一方面，提供一種將數據導入數據庫的裝置，所述裝置包括：

數據讀取單元，用于基于預設的源數據存儲路徑，讀取待導入的目標數據文件；

分片處理單元，用于對所述目標數據文件進行分片處理，并基于獲得的多個分片文件，更新傳輸任務列表；其中，在所述傳輸任務列表中，每個傳輸任務對應一個分片文件；

并行傳輸單元，用于循環遍歷所述傳輸任務列表，直至所述傳輸任務列表為空為止；其中，在每次遍歷時讀取一個傳輸任務，并分批次將所述傳輸任務對應的目標分片文件導入目標數據庫中，每一個批次的導入過程包括：

根據相應的任務偏移量，定位至所述目標分片文件中的數據讀取位置，并基于所述數據讀取位置讀取的數據，生成本批次的數據庫導入指令；其中，所述任務偏移量用于指示所述目標分片文件中已完成導入的數據；

將生成的數據庫導入指令發送給所述目標數據庫，并更新所述任務偏移量。

在一種可能的實施方式中，所述數據讀取單元，還用于：