[發明專利]一種數據遷移方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211322258.4
• 申請日: 2022-10-26
• 公開（公告）號: CN115543211A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 馮龍;王博然;林存藝;成效輝
• 申請（專利權）人: 北京易華錄信息技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 王娜

本發明公開了一種數據遷移方法、裝置、電子設備及存儲介質，所述方法包括：響應于接收到多個小文件，將所述多個小文件聚合成至少一個目標量級的大文件，每一個目標量級的大文件由所述多個小文件中至少部分小文件聚合得到；在每一個所述大文件的文件頭中存儲每一個小文件在所述大文件中的存儲位置信息；響應于獲取到數據存儲系統的地址信息，利用多個數據讀取線程并行讀取大文件；基于每一個小文件在所述大文件中的存儲位置信息，將讀取到的大文件解析成小文件后寫入到所述數據存儲系統中。本發明通過直接讀取大文件，解析并寫入到數據存儲系統中，能夠高效實現離線遷移，提升數據的導出性能。

技術領域

本發明涉及數據遷移技術領域，具體涉及一種數據遷移方法、裝置、電子設備及存儲介質。

背景技術

現有數據遷移方案中離線遷移首先將用戶數據遷移至一套存儲設備中，然后通過物理運輸將存儲設備快遞到數據中心，最后從存儲設備中將數據導出到數據中心中。但使用離線數據遷移方法，在海量小文件(MB級以下的文件)場景下會存在文件導出效率性能下降、遷移耗時過長等問題。故亟待提出一種新的數據遷移方法，能夠高效實現離線遷移，提升數據的導出性能。

發明內容

因此，本發明要解決的技術問題在于克服現有海量小文件場景下離線數據遷移方法存在導出效率性能下降、遷移耗時過長的缺陷，從而提供一種數據遷移方法、裝置、電子設備及存儲介質。

根據第一方面，本發明實施例公開了一種數據遷移方法，應用于數據遷移系統，所述數據遷移系統與數據存儲系統通信連接；所述方法包括：響應于接收到多個小文件，將所述多個小文件聚合成至少一個目標量級的大文件，每一個目標量級的大文件由所述多個小文件中至少部分小文件聚合得到；在每一個所述大文件的文件頭中存儲每一個小文件在所述大文件中的存儲位置信息；響應于獲取到數據存儲系統的地址信息，利用多個數據讀取線程并行讀取大文件；基于每一個小文件在所述大文件中的存儲位置信息，將讀取到的大文件解析成小文件后寫入到所述數據存儲系統中。

可選地，所述將讀取到大文件解析成小文件后寫入到所述數據存儲系統中，包括：利用多個數據導出線程將解析得到的小文件寫入到所述數據存儲系統中。

可選地，所述目標量級的大文件的存儲形式為存儲列表；所述方法還包括：在所述大文件的文件頭中存儲每一個小文件在存儲列表中的偏移量和offset；基于每一個小文件在存儲列表中的偏移量和offset，將讀取到的大文件解析成小文件后寫入到所述數據存儲系統中。

可選地，響應于獲取到數據存儲系統的地址信息，利用多個數據讀取線程并行讀取大文件之前，所述方法還包括：向所述數據存儲系統發送地址信息獲取請求；對所述數據存儲系統反饋的應答信息進行解析后得到所述數據存儲系統的地址信息。

根據第二方面，本發明實施例還公開了一種數據遷移裝置，應用于數據遷移系統，所述數據遷移系統與數據存儲系統通信連接；所述裝置包括：數據聚合模塊，用于響應于接收到多個小文件，將所述多個小文件聚合成至少一個目標量級的大文件，每一個目標量級的大文件由所述多個小文件中至少部分小文件聚合得到；位置信息存儲模塊，用于在每一個所述大文件的文件頭中存儲每一個小文件在所述大文件中的存儲位置信息；文件讀取模塊，用于響應于獲取到數據存儲系統的地址信息，利用多個數據讀取線程并行讀取大文件；數據解析模塊，用于基于每一個小文件在所述大文件中的存儲位置信息，將讀取到的大文件解析成小文件后寫入到所述數據存儲系統中。

可選地，數據解析模塊，包括：數據寫入子模塊，用于利用多個數據導出線程將解析得到的小文件寫入到所述數據存儲系統中。

可選地，所述目標量級的大文件的存儲形式為存儲列表；所述裝置還包括：存儲信息模塊，用于在所述大文件的文件頭中存儲每一個小文件在存儲列表中的偏移量和offset；數據導出模塊，用于基于每一個小文件在存儲列表中的偏移量和offset，將讀取到的大文件解析成小文件后寫入到所述數據存儲系統中。